本文介紹了 Prometheus 的高可用官方方案和自研高可用方案。

關(guān)于 Prometheus 的高可用，官方文檔中只提供了一個(gè)解決方案，具體實(shí)現(xiàn)方式如下：

使用兩個(gè) Prometheus 主機(jī)監(jiān)控同樣的目標(biāo)，然后有告警出現(xiàn)，也會(huì)發(fā)送同樣的告警給 Alertmanager，然后使用 Alertmanager 自身的去重告警功能，只發(fā)出一條告警出來(lái)。從而實(shí)現(xiàn)了 prometheus 高可用的一個(gè)架構(gòu)。?基于此架構(gòu)，我們還可以使用 keepalived 做雙機(jī)熱備，通過(guò) VIP 與 grafana 相連。實(shí)現(xiàn)一個(gè)完整的帶 web 界面展示告警的高可用 Prometheus 監(jiān)控架構(gòu)。

根據(jù)查找的資料，可知 Prometheus 的監(jiān)控?cái)?shù)量和 Prometheus 主機(jī)的內(nèi)存和磁盤(pán)大小的關(guān)系表。

根據(jù)表格中數(shù)據(jù)，我們可以用兩臺(tái) 8G 內(nèi)存，磁盤(pán)大小為 100G 的 Prometheus 主機(jī)做主備架構(gòu)，進(jìn)行 500 個(gè)節(jié)點(diǎn)以下的基礎(chǔ)架構(gòu)的監(jiān)控，然后由于抓取間隔和數(shù)據(jù)留存時(shí)間的設(shè)定是直接關(guān)乎內(nèi)存和磁盤(pán)空間的使用率，所以我們可以通過(guò)調(diào)整這兩點(diǎn)，來(lái)調(diào)整內(nèi)存和磁盤(pán)空間到合適的值。

根據(jù)官方文檔，Prometheus 有一個(gè)面向于大規(guī)模目標(biāo)監(jiān)控的功能** FEDERATION **聯(lián)邦機(jī)制，是指從其它 Prometheus 主機(jī)上抓取特定的數(shù)據(jù)到一個(gè)匯總的 Prometheus 主機(jī)中，既然是從其它 Prometheus 主機(jī)匯總而來(lái)，那么數(shù)據(jù)量會(huì)很大，難以長(zhǎng)久儲(chǔ)存在主機(jī)本地，所以我們需要使用 Prometheus 的遠(yuǎn)程讀寫(xiě)數(shù)據(jù)庫(kù)的功能，來(lái)遠(yuǎn)程保存至第三方數(shù)據(jù)庫(kù)。?而這個(gè)用于匯總的 Prometheus 主機(jī)，我們也使用主備兩臺(tái)主機(jī)做高可用處理，不過(guò)與第三方數(shù)據(jù)庫(kù)之間需要用一個(gè) adapter 工具，來(lái)做主備數(shù)據(jù)庫(kù)傳輸切換。如下圖所示。

在這里第三方存儲(chǔ)是使用的 PostgreSQL + TimescaleDB，而 adapter 是用的官方開(kāi)發(fā)的 Prometheus-postgresql-adpter 自帶 leader 切換的功能，當(dāng)設(shè)置好 Prometheus 和 adapter 后，如果 adapter 長(zhǎng)時(shí)間沒(méi)有收到對(duì)應(yīng)的 Prometheus 的數(shù)據(jù)，那么它會(huì)自動(dòng)鎖定然后切換到備用 adapter，備用 adpter 會(huì)將自己所對(duì)應(yīng)的 Prometheus 主機(jī)的數(shù)據(jù)發(fā)往第三方存儲(chǔ)。?也就是說(shuō)，這兩臺(tái) Prometheus 主機(jī)都是會(huì)實(shí)時(shí)接收其它相同 Prometheus 主機(jī)的數(shù)據(jù)，然后只有其中一方的數(shù)據(jù)會(huì)被標(biāo)識(shí)為 leader 的 adapter 發(fā)送到第三方存儲(chǔ)中。完整架構(gòu)圖如下。

轉(zhuǎn)自：wrf2020

jianshu.com/p/bccfc58bcbcd