自動化運維 | 編寫Linux Shell腳本的最佳實踐
來自：Myths的個人博客
作者：myths
鏈接：https://blog.mythsman.com/2017/07/23/1/（點擊尾部閱讀原文前往）
由于工作需要，最近重新開始拾掇shell腳本。雖然絕大部分命令自己平時也經常使用，但是在寫成腳本的時候總覺得寫的很難看。而且當我在看其他人寫的腳本的時候，總覺得難以閱讀。畢竟shell腳本這個東西不算是正經的編程語言，他更像是一個工具，用來雜糅不同的程序供我們調用。因此很多人在寫的時候也是想到哪里寫到哪里，基本上都像是一段超長的main函數，不忍直視。同時，由于歷史原因，shell有很多不同的版本，而且也有很多有相同功能的命令需要我們進行取舍，以至于代碼的規范很難統一。
考慮到上面的這些原因，我查閱了一些相關的文檔，發現這些問題其實很多人都考慮過，而且也形成了一些不錯的文章，但是還是有點零散。因此我就在這里把這些文章稍微整理了一下，作為以后我自己寫腳本的技術規范。
開頭有“蛇棒”
所謂shebang其實就是在很多腳本的第一行出現的以”#!”開頭的注釋，他指明了當我們沒有指定解釋器的時候默認的解釋器，一般可能是下面這樣：
當然，解釋器有很多種，除了bash之外，我們可以用下面的命令查看本機支持的解釋器:
當我們直接使用./a.sh來執行這個腳本的時候，如果沒有shebang，那么它就會默認用$SHELL指定的解釋器，否則就會用shebang指定的解釋器。
不過，上面這種寫法可能不太具備適應性，一般我們會用下面的方式來指定：
這種方式是我們推薦的使用方式。
代碼有注釋
注釋，顯然是一個常識，不過這里還是要再強調一下，這個在shell腳本里尤為重要。因為很多單行的shell命令不是那么淺顯易懂，沒有注釋的話在維護起來會讓人尤其的頭大。
注釋的意義不僅在于解釋用途，而在于告訴我們注意事項，就像是一個README。
具體的來說，對于shell腳本，注釋一般包括下面幾個部分：
- shebang
- 腳本的參數
- 腳本的用途
- 腳本的注意事項
- 腳本的寫作時間，作者，版權等
- 各個函數前的說明注釋
- 一些較復雜的單行命令注釋
參數要規范
這一點很重要，當我們的腳本需要接受參數的時候，我們一定要先判斷參數是否合乎規范，并給出合適的回顯，方便使用者了解參數的使用。
最少，最少，我們至少得判斷下參數的個數吧：
變量和魔數
一般情況下我們會將一些重要的環境變量定義在開頭，確保這些變量的存在。
這種定義方式有一個很常見的用途，最典型的應用就是，當我們本地安裝了很多java版本時，我們可能需要指定一個java來用。那么這時我們就會在腳本開頭重新定義JAVA_HOME以及PATH變量來進行控制。
同時，一段好的代碼通常是不會有很多硬編碼在代碼里的“魔數”的。如果一定要有，通常是用一個變量的形式定義在開頭，然后調用的時候直接調用這個變量，這樣方便日后的修改。
縮進有規矩
對于shell腳本，縮進是個大問題。因為很多需要縮進的地方(比如if,for語句)都不長，所有很多人都懶得去縮進，而且很多人不習慣用函數，導致縮進功能被弱化。
其實正確的縮進是很重要的，尤其是在寫函數的時候，否則我們在閱讀的時候很容易把函數體跟直接執行的命令搞混。
常見的縮進方法主要有”soft tab”和”hard tab”兩種。
- 所謂soft tab就是使用n個空格進行縮進(n通常是2或4)
- 所謂hard tab當然就是指真實的””字符
這里不去撕哪種方式最好，只能說各有各的優劣。反正我習慣用hard tab。
對于if和for語句之類的，我們最好不要把then，do這些關鍵字單獨寫一行，這樣看上去比較丑。。。
命名有標準
所謂命名規范，基本包含下面這幾點：
- 文件名規范，以.sh結尾，方便識別
- 變量名字要有含義，不要拼錯
- 統一命名風格，寫shell一般用小寫字母加下劃線
編碼要統一
在寫腳本的時候盡量使用UTF-8編碼，能夠支持中文等一些奇奇怪怪的字符。不過雖然能寫中文，但是在寫注釋以及打log的時候還是盡量英文，畢竟很多機器還是沒有直接支持中文的，打出來可能會有亂碼。
這里還尤其需要注意一點，就是當我們是在windows下用utf-8編碼來寫shell腳本的時候，一定要注意這個utf-8是否是有BOM的。默認情況下windows判斷utf-8格式是通過在文件開頭加上三個EF BB BF字節來判斷的，但是在Linux中默認是無BOM的。因此如果我們是在windows下寫腳本的時候，一定要注意將編碼改成Utf-8無BOM，一般用notepad++之類的編輯器都能改。否則，在Linux下運行的時候就會識別到開頭的三個字符，從而報一些無法識別命令的錯。
權限記得加
這一點雖然很小，但是我個人卻經常忘記，不加執行權限會導致無法直接執行，有點討厭。。。
日志和回顯
日志的重要性不必多說，能夠方便我們回頭糾錯，在大型的項目里是非常重要的。
如果這個腳本是供用戶直接在命令行使用的，那么我們最好還要能夠在執行時實時回顯執行過程，方便用戶掌控。
有時候為了提高用戶體驗，我們會在回顯中添加一些特效，比如顏色啊，閃爍啊之類的，具體可以參考ANSI/VT100 Control sequences這篇文章的介紹。
密碼要移除
不要把密碼硬編碼在腳本里，不要把密碼硬編碼在腳本里，不要把密碼硬編碼在腳本里。
重要的事情說三遍，尤其是當腳本托管在類似Github這類平臺中時。。。
太長要分行
在調用某些程序的時候，參數可能會很長，這時候為了保證較好的閱讀體驗，我們可以用反斜杠來分行：
注意在反斜杠前有個空格。
代碼有效率
在使用命令的時候要了解命令的具體做法，尤其當數據處理量大的時候，要時刻考慮該命令是否會影響效率。
比如下面的兩個sed命令：
他們的作用一樣，都是獲取文件的第一行。但是第一條命令會讀取整個文件，而第二條命令只讀取第一行。當文件很大的時候，僅僅是這樣一條命令不一樣就會造成巨大的效率差異。
當然，這里只是為了舉一個例子，這個例子真正正確的用法應該是使用head -n1 file命令。。。
勤用雙引號
幾乎所有的大佬都推薦在使用”$”來獲取變量的時候最好加上雙引號。
不加上雙引號在很多情況下都會造成很大的麻煩，為什么呢？舉一個例子：
他的運行結果如下：
為啥會這樣呢？其實可以解釋為他執行了下面的命令：
在很多情況下，在將變量作為參數的時候，一定要注意上面這一點，仔細體會其中的差異。上面只是一個非常小的例子，實際應用的時候由于這個細節導致的問題實在是太多了。。。
巧用main函數
我們知道，像java，C這樣的編譯型語言都會有一個函數入口，這種結構使得代碼可讀性很強，我們知道哪些直接執行，那些是函數。但是腳本不一樣，腳本屬于解釋性語言，從第一行直接執行到最后一行，如果在這當中命令與函數糅雜在一起，那就非常難讀了。
用Python的朋友都知道，一個合乎標準的Python腳本大體上至少是這樣的：
他用一個很巧妙的方法實現了我們習慣的main函數，使得代碼可讀性更強。
在shell中，我們也有類似的小技巧:
我們可以采用這種寫法，同樣實現類似的main函數，使得腳本的結構化程度更好。
考慮作用域
shell中默認的變量作用域都是全局的，比如下面的腳本：
他的輸出結果就是2而不是1，這樣顯然不符合我們的編碼習慣，很容易造成一些問題。
因此，相比直接使用全局變量，我們最好使用local readonly這類的命令，其次我們可以使用declare來聲明變量。這些方式都比使用全局方式定義要好。
函數返回值
在使用函數的時候一定要注意，shell中函數的返回值只能是整數，估計是因為一般情況下一個函數的返回值通常表示這個函數的運行狀態，所以一般都是0或者是１就夠了，因此就設計成了這樣。不過，如果非得想傳遞字符串，也可以通過下面變通的方法:
這樣，通過echo或者print之類的就可以做到傳一些額外參數的目的。
間接引用值
什么叫間接引用？比如下面這個場景：
我們有一個變量VAR1，又有一個變量VAR2，這個VAR2的值是VAR1的名字，那么我們現在想通過VAR2來獲取VAR1的值，這時候應該怎么辦呢？
比較土鱉的方法是這樣：
這個用法的確可行，但是看起來十分的不舒服，很難只管的去理解，我們并不推薦。而且事實上我們本身就不推薦使用eval這個命令。
比較舒服的寫法是下面這樣:
通過在變量名前加一個!就可以做到簡單的間接引用了。
不過需要注意的是，用上面的方法，我們只能夠做到取值，而不能做到賦值。如果想要做到賦值，還要老老實實的用eval來處理:
巧用heredocs
所謂heredocs，也可以算是一種多行輸入的方法，即在”<<”后定一個標識符，接著我們可以輸入多行內容，直到再次遇到標識符為止。
使用heredocs，我們可以非常方便的生成一些模板文件：
學會查路徑
很多情況下，我們會先獲取當前腳本的路徑，然后一這個路徑為基準，去找其他的路徑。通常我們是直接用pwd以期獲得腳本的路徑。
不過其實這樣是不嚴謹的，pwd獲得的是當前shell的執行路徑，而不是當前腳本的執行路徑。
正確的做法應該是下面這兩種：
應當先cd進當前腳本的目錄然后再pwd，或者直接讀取當前腳本的所在路徑。
代碼要簡短
這里的簡短不單單是指代碼長度，而是只用到的命令數。原則上我們應當做到，能一條命令解決的問題絕不用兩條命令解決。這不僅牽涉到代碼的可讀性，而且也關乎代碼的執行效率。
最最經典的例子如下：
cat命令最為人不齒的用法就是這樣，用的沒有任何意義，明明一條命令可以解決，他非得加根管道。。。
其實代碼簡短在還能某種程度上能保證效率的提升，比如下面的例子：
這兩種方法做的事情都一樣，就是查找所有的.txt后綴的文件并做一系列替換。前者是多次執行find，后者是執行一次find，但是增加了sed的模式串。第一種可讀性更好一點，但是當替換的量變大的時候，第二種的速度就會比第一種快很多。這里效率提升的原因，就是第二種只要執行一次命令，而第一種要執行多次。
并且，巧用xargs命令，我們還可以十分方便的進行并行化處理:
通過-P參數指定并行度，可以進一步加快執行效率。
命令并行化
當我們需要充分考慮執行效率時，我們可能需要在執行命令的時候考慮并行化。shell中最簡單的并行化是通過”&”以及”wait”命令來做:
當然，這里并行的次數不能太多，否則機器會卡死。稍微正確的做法比較復雜，以后再討論，如果圖省事可以使用parallel命令來做。
使用新寫法
這里的新寫法不是指有多厲害，而是指我們可能更希望使用較新引入的一些語法，更多是偏向代碼風格的，比如
- 盡量使用func(){}來定義函數，而不是func{}
- 盡量使用[[]]來代替[]
- 盡量使用$()將命令的結果賦給變量，而不是反引號
- 在復雜的場景下盡量使用printf代替echo進行回顯
事實上，這些新寫法很多功能都比舊的寫法要強大，用的時候就知道了。
其他小tip
考慮到還有很多零碎的點，就不一一展開了，這里簡單提一提。
- 路徑盡量保持絕對路徑，絕多路徑不容易出錯，如果非要用相對路徑，最好用./修飾
- 優先使用bash的變量替換代替awk sed，這樣更加簡短
- 簡單的if盡量使用&& ||，寫成單行。比如[[ x > 2]] && echo x
- 當export變量時，盡量加上子腳本的namespace，保證變量不沖突
- 會使用trap捕獲信號，并在接受到終止信號時執行一些收尾工作
- 使用mktemp生成臨時文件或文件夾
- 利用/dev/null過濾不友好的輸出信息
- 會利用命令的返回值判斷命令的執行情況
- 使用文件前要判斷文件是否存在，否則做好異常處理
- 不要處理ls后的數據(比如ls -l | awk '{ print $8 }')，ls的結果非常不確定，并且平臺有關
- 讀取文件時不要使用for loop而要使用while read
概述
為了從制度上保證腳本的質量，我們最簡單的想法大概就是搞一個靜態檢查工具，通過引入工具來彌補開發者可能存在的知識盲點。
市面上對于shell的靜態檢查工具還真不多，找來找去就找到一個叫shellcheck的工具，開源在github上，有8K多的star，看上去還是十分靠譜的。我們可以去他的主頁了解具體的安裝和使用信息。
安裝
這個工具的對不同平臺的支持力度都很大，他至少支持了
Debian,Arch,Gentoo,EPEL,Fedora,OS X,openSUSE等等各種的平臺的主流包管理工具。安裝方便。具體可以參照安裝文檔
集成
既然是靜態檢查工具，就一定可以集成在CI框架里，shellcheck可以非常方便的集成在Travis CI中，供以shell腳本為主語言的項目進行靜態檢查。
樣例
在文檔的Gallery of bad code里，也提供了非常詳細的“壞代碼”的標準，具有非常不錯的參考價值，可以在閑下來的時候當成”Java Puzzlers“之類的書來讀讀還是很愜意的。
本質
不過，其實我覺得這個項目最最精華的部分都不是上面的功能，而是他提供了一個非常非常強大的wiki。在這個wiki里，我們可以找到這個工具所有判斷的依據。在這里，每一個檢測到的問題都可以在wiki里找到對應的問題單號，他不僅告訴我們”這樣寫不好”，而且告訴我們”為什么這樣寫不好”，”我們應當怎么寫才好”，非常適合刨根問底黨進一步研究。
————廣告時間————
《馬哥Linux云計算及架構師》課程，由知名Linux布道師馬哥創立，經歷了8年的發展，聯合阿里巴巴、唯品會、大眾點評、騰訊、陸金所等大型互聯網一線公司的馬哥課程團隊的工程師進行深度定制開發，課程采用 Centos7.2系統教學，加入了大量實戰案例，授課案例均來自于一線的技術案例。
開課時間：11月06號
課程咨詢請長按即可咨詢
