Linux基礎教程之文本三劍客AWK
文本三劍客—-awk（3）
awk簡介
awk是一個強大的文本分析工具，與grep（查找）、sed（編輯）一并稱為“文本處理三劍客”。awk最強大的功能是對數據分析并生成報告。
awk有3個不同版本: awk、nawk和gawk，未作特別說明，一般指gawk，gawk是AWK的GNU版本。
awk其名稱得自于它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。awk能讀取輸入文件、為數據排序、處理數據、對輸入執行計算以及生成報表，還有無數其他的功能。
工作原理
一次讀取一行文本，按輸入分隔符進行切片，切成多個組成部分，將每片直接保存在內建的變量中，$1,$2,$3….，引用指定的變量，可以顯示指定斷，或者多個斷。如果需要顯示全部的，需要使用$0來引用。可以對單個片斷進行判斷，也可以對所有斷進行循環判斷。其默認分隔符為空格
- 按行讀取文本（文件的每一行稱為記錄）
- 按輸入分隔符進行切片
- 對切片自動生命變量 $1,$2…（域標識；$0為所有域）
- 對指定目標做處理（處理及打印等）
語法格式
awk [options] ‘program’ FILE……
[options]
–F：指明輸入時的分隔符
–v：自定義變量
–f：調用awk腳本
program:pattern{action statements;..}
-pattern：觸發條件
-action statements：對數據處理動作
步驟
- 執行BEGIN{action;…}
BEGIN在輸入之前執行，通常用來打印表頭，變量初始化。 - 讀取，執行pattern{action;…}
默認執行{ print } - 執行END{action;…}
讀取到打印結束后執行，通常用作分析結果，信息匯總。
變量
內置變量
- FS：輸入字段分隔符
- OFS：輸出字段分隔符
- RS：輸入記錄分隔符
- ORS：輸出記錄分隔符
- ARGC：命令行參數的個數
- ARGV：數組，保存命令行給定的各參數
- NF：字段數量
- NR：行號
- FNR：個文件分別計數，行號
- FILENAME：當前文件名
自定義變量
- 選項位置定義：-v var=hello
- 在program中定義：awk ‘BEGIN{test=”hello”;print test}’
字符串處理
- length([s]) ：返回指定字符串的長度
- sub(r,s,[t]) ：對t字符串進行搜索r 表示的模式匹配的內容，并將第一個匹配的內容替換為s
echo “2008:08:08 08:08:08″ | awk ‘sub(/:/,”-“,$0)’ - gsub(r,s,[t]) ：對t字符串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容
echo “2008:08:08 08:08:08″ | awk ‘gsub(/:/,”-“,$0)’ - split(s,array,[r]) ：以r為分隔符，切割字符串s，并將切割后的結果保存至array 所表示的數組中，第一個索引值為1, 第二個索引值為2,…
netstat -tan | awk ‘/^tcp>/{split($5,ip,”:”);count[ip[1]]++} END{for (i in count) {print i,count[i]}}’
Printf命令
- print不需要指定，printf需要指定format
- printf后面的字串需要使用雙引號
- 字串定義后的內容需要使用”,”分隔，后面直接跟Item1,item2….
- format用于指定后面的每個item的輸出格式
- printf語句不會自動打印換行符\n
格式符
- %s: 顯示字符串
- %d,%i: 顯示十進制整數
- %e,%E: 科學計數法數值顯示
- %f: 顯示為浮點數
- %g,%G: 以科學數法或浮點形式顯示數值
- %c: 顯示字符的ASCII碼
- %u: 無符號整數
- %%: 顯示%號自身，相當于轉義
修飾符
- N: 顯示寬度
- -: 左對齊（默認為右對齊）
- +: 顯示數值符號
操作符
- 算數
x+y, x-y, x*y, x/y, x^y, x%y - 賦值
=, +=, -=, *=, /=, %=, ^=,++, — - 比較
==, !=, >, >=, <, <= - 模式匹配符
~：左邊是否和右邊匹配包含!~：是否不匹配 - 邏輯
&&,||,!
awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd
PROGRAM
pattern
- ）默認匹配每一行
- ）/pattern/：僅處理匹配到的行
- ）/pattern1/,/pattern2/：處理 pattern1 到 pattern2 之間
- ）關系表達式：真：非0假：空或0
action
- ）Expressions: 算術，比較表達式等
- ） Control statements ：if, while等
- ） Compound statements ：組合語句
- ） input statements
- ） output statements ：print等
控制語句
- if-else
awk ‘BEGIN{ test=100;if(test>90){print “very good”} else if(test>60){ print “good”}else{print “no pass”}}’
成績為100；大于90打印“very good”；大于60打印“good”；其余打印“no pass” - while 循環
條件”真”，進入循環；條件”假”，退出循環
awk ‘/^[[:space:]]*Linux16/{i=1;while(i<=NF) {if(length($i)>=10){print $i,length($i)}; i++}}’ /etc/grub2.cfg
以空白符開頭后跟”Linux16″的行中，把字符數大于10的字符串打印出來。 - do-while 循環
無論真假，至少執行一次
awk ‘BEGIN{ sum=0;i=0;do{sum+=i;i++;}while(i<=100);print sum}’
累加 - for 循環
遍歷
awk ‘/^[[:space:]]*Linux16/{for(i=1;i<=NF;i++) {print$i,length($i)}}’ /etc/grub2.cfg - switch 語句
- break 和 continue
awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}’
awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}’ - next
提前 結束對本行處理而直接進入下一行處理
seq {1,20} | awk -F: ‘{if($1%2==0)next ; print $1}’
打印奇數行
數組
- ）可使用任意字符串；字符串要使用雙引號括起來
- ）如果某數組元素事先不存在，在引用時，awk 會自動創建此元素，并將其值初始化為“空字符串（即為”假”）”
- 若要判斷數組中是否存在某元素，要使用“index in array”格式進行遍歷
示例練習：
[root@localhost ~]# awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash
[root@localhost ~]# awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash
[root@localhost ~]# cat f
aa
bb
cc
dd
aa
bb
cc
dd
[root@localhost ~]# awk '!arr[$0]++' f
aa
bb
cc
dd
[root@localhost ~]# awk '{!arr[$0]++;print $0,arr[$0]}' f
aa 1
bb 1
cc 1
dd 1
aa 2
bb 2
cc 2
dd 2
[root@localhost ~]# awk '/^UUID/||/^\/dev/{fs[$3]++} END{for (i in fs){print i,fs[i]}}' /etc/fstab
swap 1
xfs 4
[root@localhost ~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
man 1
and/or 1
maintained 1
xfs 4
Accessible 1
Thu 1
UUID=63af8e82-3a2a-40ed-8f76-64f56502ee1c 1are 1
defaults 4
blkid(8) 1
/ 1
/dev/mapper/cl-root 1
0 10
[root@localhost ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw" | awk -F "[^[:digit:]]" '{for(k=1;k<=NF;k++){a[$k]}} END{for(i in a) {printf "%s",i}printf "\n"}'
79053