Linux基礎教程之cluster集群全講解
??Linux cluster集群
Linux cluster（集群）：
cluster：計算機組合，為解決某個特定問題組合起來形成的單個系統；
Linux Cluster類型：
???LB：Load Balancing，負載均衡；
???HA：High Availiablity，高可用；
???A=MTBF（平均無故障時長）/（MTBF+MTTR（平均修復時間））
(0,1)：90%, 95%, 99%, 99.5%, ?99.9%, 99.99%, 99.999%
???????A=(0<=1)
???HP：High Performance，高性能；
全球計算機性能評測網站：www.top500.org??
系統擴展方式：
Scale UP：向上擴展
Scale Out：向外擴展Cluster集群
LB Cluster負載均衡集群：
???LB Cluster的實現：
?硬件：
???F5 Big-IP
???Citrix Netscaler
???A10 A10
??軟件：
lvs：Linux Virtual Server
nginx
haproxy
ats：apache traffic server
perlbal
pound
基于工作的協議層次劃分：
???傳輸層（通用）：（DPORT）主要根據目標端口進行轉發；
lvs：主要工作在傳輸層調度；
nginx：（stream）模擬傳輸層調度；
haproxy：（mode tcp）模擬傳輸層調度；
應用層（專用）：（自定義的請求模型分類）
proxy server：
???http：nginx, httpd, haproxy(mode http), …
???fastcgi：nginx, httpd, …
???mysql：mysql-proxy, …
…
????站點指標：
PV：Page View?頁面入口的瀏覽量；
UV：Unique Vistor?獨立的訪問者；
IP：訪問網站時使用的外網地址；
會話保持：
???(1) session sticky：會話粘性；
Source IP
Cookie?追蹤用戶身份；
???(2) session replication;
session cluster
???(3) session server
??主從復制集群；
lvs：Linux Virtual Server
VS: Virtual Server
RS: Real Server
lvs在不適用的場合使用會帶來的麻煩：
??lvs太原生態，使得很多輔助性的工具可控性極低，因為它只是為了調度而生。
??lvs不適用小型站點。
lvs：四層路由器，四層交換機；
VS：根據請求報文的目標IP和目標協議及端口將其調度轉發至某RealServer，根據調度算法來挑選RS；
iptables/netfilter：
iptables：用戶空間的管理工具；
netfilter：內核空間上的框架；
流入：PREROUTING –> INPUT
流出：OUTPUT –> POSTROUTING
轉發：PREROUTING –> FORWARD –> POSTROUTING
DNAT：目標地址轉換；?PREROUTING；
lvs: ipvsadm/ipvs
ipvsadm：用戶空間的命令行工具，規則管理器，用于管理集群服務及RealServer；
ipvs：工作于內核空間的netfilter的INPUT鉤子之上的框架；
注意：一般不建議在lvs調度服務器上做太多的iptables過濾規則。
lvs集群類型中的術語：
vs：Virtual Server, Director, Dispatcher, Balancer
rs：Real Server, upstream server, backend server
CIP：Client IP, VIP: Virtual serve ip , DIP: Director IP，RIP: Real server IP
CIP <–> VIP == DIP <–> RIP
OS七層模型：
應用層
表示層
會話層
傳輸層
網絡層
數據鏈路層
物理層
lvs集群的類型：
lvs-nat：修改請求報文的目標IP；
lvs-dr：重新封裝新的MAC地址，默認使用的類型；
lvs-tun：在原請求IP報文之外新加一個IP首部；
lvs-fullnat：修改請求報文的源和目標IP；
lvs-nat：
多目標IP的DNAT，通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現轉發；
（1）RIP和DIP必須在同一個IP網絡，且應該使用私網地址；RS的網關要指向DIP；
（2）請求報文和響應報文都必須經由Director轉發；Director易于成為系統瓶頸；
（3）支持端口映射，可修改請求報文的目標PORT；
（4）vs必須是Linux系統，rs可以是任意系統；
lvs-dr：
???Direct Routing，直接路由；
???通過為請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目標IP/PORT均保持不變；
???Director和各RS都得配置使用VIP；
(1)?確保前端路由器將目標IP為VIP的請求報文發往Director：
(a)?在前端網關做靜態綁定，此種方案不可行；
(b)?在RS上使用arptables；
????(c)?在RS上修改內核參數以限制arp通告及應答級別；
arp_announce
arp_ignore
(2) RS的RIP可以使用私網地址，也可以是公網地址；RIP與DIP在同一IP網絡；RIP的網關不能指向DIP，以確保響應報文不會經由Director，在RS的lo別名網卡上配置vip地址；
(3) RS跟Director要在同一個物理網絡；
(4)?請求報文要經由Director，但響應不能經由Director，而是由RS直接發往Client；
(5)?不支持端口映射；
lvs-tun：
???轉發方式：不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發往挑選出的目標RS；
(1)?DIP, VIP, RIP都應該是公網地址；
(2) RS的網關不能，也不可能指向DIP，在RS的lo別名網卡上配置vip地址；
(3)?請求報文要經由Director，但響應不能經由Director；
(4)?不支持端口映射；
(5) RS的OS得支持隧道功能；
客戶端請求：
?client—–CIP VIP——->director——–CIP VIP ?DIP RIP———realserver（在lo別名上配置vip）；
服務器響應請求：
?realserver——VIP CIP———client
????
lvs-fullnat：
通過同時修改請求報文的源IP地址和目標IP地址進行轉發；
CIP –> DIP
VIP –> RIP
(1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網絡；因此，RIP的網關一般不會指向DIP；
(2) RS收到的請求報文源地址是DIP，因此，只需響應給DIP；但Director還要將其發往Client；
(3)?請求和響應報文都經由Director；
(4)?支持端口映射；
??注意：lvs-fullnat型lvs默認不支持；
ipvs scheduler（調度）：
根據其調度時是否考慮各RS當前的負載狀態，可分為靜態方法和動態方法兩種：
靜態方法：僅根據算法本身進行調度；
RR：roundrobin，輪詢；
WRR：Weighted RR，加權輪詢；
SH：Source Hashing，實現session sticy，源IP地址hash；將來自于同一個IP地址的請求始終發往第一次挑中的RS，從而實現會話綁定；
????DH：Destination Hashing；目標地址哈希，將發往同一個目標地址的請求始終轉發至第一次挑中的RS；
動態方法：主要根據每RS當前的負載狀態及調度算法進行調度；
Overhead=
LC：least connections
Overhead=activeconns*256+inactiveconns
WLC：Weighted LC
Overhead=(activeconns*256+inactiveconns)/weight
SED：Shortest Expection Delay
Overhead=(activeconns+1)*256/weight
NQ：Never Queue
LBLC：Locality-Based LC，動態的DH算法；
LBLCR：LBLC with Replication，帶復制功能的LBLC；
?
ipvsadm/ipvs：
ipvs：
??~]# grep -i -C 10 “ipvs” /boot/config-3.10.0-327.el7.x86_64
??支持的協議：TCP，?UDP，?AH，?ESP，?AH_ESP, SCTP；
ipvs集群：
集群服務
服務上的RS
ipvsadm命令：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
?管理集群服務：增、改、刪；
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
刪：
ipvsadm -D -t|u|f service-address
service-address：
-t|u|f：
-t: TCP協議的端口，VIP:TCP_PORT
-u: TCP協議的端口，VIP:UDP_PORT
-f：firewall MARK，是一個數字；
[-s scheduler]：指定集群的調度算法，默認為wlc；
管理集群上的RS：增、改、刪；
增、改：
???ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
?刪：
ipvsadm -d -t|u|f service-address -r server-address
server-address：
rip[:port]
選項：
lvs類型：
-g: gateway, dr類型
-i: ipip, tun類型
-m: masquerade, nat類型
-w weight：權重；
清空定義的所有內容：
ipvsadm -C
查看：
ipvsadm -L|l [options]
?–numeric, -n：numeric output of addresses and ports
?–exact：expand numbers (display exact values)
?–connection，?-c：output of current IPVS connections
?–stats：output of statistics information
–rate?：output of rate information
保存和重載：
ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore
實驗測試lvs集群：
??實驗環境：準備4臺虛擬機，配置一個lvs-nat的lvs集群；
???client客戶機IP為192.168.3.7
???director調度服務器準備兩塊網卡，network 1?（vip）:192.168.3.5 ?network 2（Dip）?:192.168.22.1
???realserver1 httpd服務器rip為192.168.22.2 gateway：192.168.22.1
????????在realserver1 httpd配置訪問主頁realserver 1
???realserver2 httpd服務器rip為192.168.22.3gateway：192.168.22.1
????????在realserver2 httpd配置訪問主頁realserver 2
?1）以上實驗測試環境準備好之后，我們就可以配置lvs director調度服務器了。
在director調度服務器上開啟路由轉發功能；
2）在director調度服務器上配置調度服務，使用rr輪循調配：
3）測試lvs的rr輪循功能：
4）修改director調度服務器調度方式為wrr加權輪循：
5）測試lvs的wrr加權輪循功能：
6）修改director調度服務器調度方式為SH源地址哈希：
7）測試lvs的SH源地址哈希功能，將客戶端IP第一次訪問的realserver始終綁定在固定的第一次訪問的realserver上。
負載均衡集群的設計要點：
(1)?是否需要會話保持；
(2)?是否需要共享存儲；
共享存儲：NAS，?SAN，?DS（分布式存儲）
數據同步：
課外作業：rsync+inotify實現數據同步，一般不建議使用。
lvs-nat：
???設計要點：
(1) RIP與DIP在同一IP網絡, RIP的網關要指向DIP；
(2)?支持端口映射；
實踐作業（博客）：負載均衡一個php應用；
測試：(1)?是否需要會話保持；(2)?是否需要共享存儲；
lvs-dr：
???dr模型中，各主機上均需要配置VIP，解決地址沖突的方式有三種：
?(1)?在前端網關做靜態綁定；不可用；
?(2)?在各RS使用arptables；比較麻煩；
?(3)?在各RS修改內核參數，來限制arp響應和通告的級別；可行；
限制響應級別：arp_ignore（響應）
0：默認值，表示可使用本地任意接口上配置的任意地址進行響應；
1:?僅在請求的目標IP配置在本地主機的接收到請求報文接口上時，才給予響應；
限制通告級別：arp_announce（通告）
0：默認值，把本機上的所有接口的所有信息向每個接口上的網絡進行通告；
1：盡量避免向非直接連接網絡進行通告；
2：必須避免向非本網絡通告；
實驗測試lvs集群：
??實驗環境：準備4臺虛擬機，配置一個lvs-nat的lvs集群；
實驗測試lvs集群：
??實驗環境：準備4臺虛擬機，配置一個lvs-dr的lvs集群；
??client客戶機IP為：192.168.3.7；
??director調度服務器配置一塊網卡，在eno16777736上配置dip：192.168.3.5，在eno16777736:0別名上配置vip：192.168.3.6
??realserver1 httpd服務器rip為192.168.3.2，在lo網卡上配置別名vip：192.168.3.6，配置arp_ignore=1 ,arp_announce=2
?????realserver2 httpd服務器rip為192.168.3.8，在lo網卡上配置別名vip：192.168.3.6，配置arp_ignore=1 ,arp_announce=2
??1）在director調度服務器上配置eno16777736:0別名上配置vip：192.168.3.6：
? 2）在realserver1 lo網卡別名上配置VIP：192.168.3.6，配置arp_ignore=1 ,arp_announce=2配置網頁為<h>realserver1</h>為了方便配置，簡化重復操作，提高效率我們可以編寫腳本setlvs.sh
3）在realserver2上同樣執行setlvs.sh腳本文件，配置vip在lo網卡別名上，配置arp_ignore=1 ,arp_announce=2，配置網頁為：<h>realserver2</h>
4）配置director調度服務器為wrr加權輪循，lvs類型為lvs-dr：
?
5）測試lvs-dr加權輪循：
FWM：FireWall Mark?（防火墻標記）
借助于防火墻標記來分類報文，而后基于標記定義集群服務；可將多個不同的應用使用同一個集群服務進行調度；
????打標記方法（在Director主機）：
???# iptables -t mangle -A PREROUTING -d $vip -p $proto –dport $port -j MARK –set-mark NUMBER
基于標記定義集群服務：
???# ipvsadm -A -f NUMBER [options]
lvs persistence：持久連接
??持久連接模板：實現無論使用任何算法，在一段時間內，實現將來自同一個地址的請求始終發往同一個RS；
??ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
??port Affinity：
每端口持久：每集群服務單獨定義，并定義其持久性；
每防火墻標記持久：基于防火墻標記定義持久的集群服務；可實現將多個端口上的應用統一調度，即所謂的port Affinity；
每客戶端持久：基于0端口定義集群服務，即將客戶端對所有應用的請求統統調度至后端主機，而且必須使用持久連接進行綁定；
保存及重載規則：
保存：建議保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
重載：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service
考慮：
(1) Director不可用，整個系統將不可用；SPoF
解決方案：高可用
keepalived
heartbeat/corosync
(2)?某RS不可用時，Director依然會調度請求至此RS；
解決方案：對各RS的健康狀態做檢查，失敗時禁用，成功時啟用；
keepalived
heartbeat/corosync, ldirectord
檢測方式：
(a)?網絡層檢測；
(b)?傳輸層檢測，端口探測；
(c)?應用層檢測，請求某關鍵資源；
ok –> failure
failure –> ok
實驗測試：
?搭建lvs-dr類型的MySQL集群做防火墻標記：
?client?客戶機IP：192.168.3.7；
?director調度服務器配置一塊網卡，在eno16777736上配置dip：192.168.3.5，在eno16777736:0別名上配置vip：192.168.3.6
realserver1 mysql服務器rip為192.168.3.2，在lo網卡上配置別名vip：192.168.3.6，配置arp_ignore=1 ,arp_announce=2
?????realserver2 mysql服務器rip為192.168.3.8，在lo網卡上配置別名vip：192.168.3.6，配置arp_ignore=1 ,arp_announce=2，創建一個數據庫mydb以表示和realserver的區別；
我們就延用以上lvs-dr httpd實驗的配置：
1）在realserver1?服務器上安裝數據庫，授權一個test用戶可以遠程登錄：
2）在realserver2服務器上安裝數據庫，授權一個test用戶可以遠程登錄并創建一個mydb的數據庫：
創建mydb數據庫：
3）配置director調度服務器，添加3306端口的調度和80端口的調度：
4）測試MySQL的lvs-dr類型的調度：
5）測試httpd的lvs-dr類型的調度：
由此可以看出MySQL和httpd是分別進行調度的。
5）使用IPvsadm -C清除調度器上的調度規則。并配置防火墻規則進行調度；
6）測試防火墻標記調度：
使用ipvsadm -S?保存ipvsadm規則到/etc/sysconig/ipvsadm
????ipvsadm ?-S ?> /etc/sysconfig/ipvsadm
使用ipvsadm -R?重載ipvsadm規則
????ipvsadm -R ?< /etc/sysconfig/ipvsadm?