-
使用Prometheus監控Flink
這篇文章介紹了如何利用Apache Flink的內置指標系統以及如何使用Prometheus來高效地監控流式應用程序。 為什么選擇Prometheus？ 隨著深入地了解Prometheus，你會發現一些非常好的功能： 服務發現使配置更加容易。Prometheus支持consul，etcd，kubernetes以及各家公有云廠商自動發現。對于監控目標動態發現，這點特別契合Cloud時代，應用動態擴縮的特點。我們無法想象，在Cloud時代，需要運維不斷更改配置。 開源社區建立了數百個exporter…
-
Elasticsearch 在各大互聯網公司大量真實的應用案例
國內現在有大量的公司都在使用 Elasticsearch，包括攜程、滴滴、今日頭條、餓了么、360安全、小米、vivo等諸多知名公司。 除了搜索之外，結合Kibana、Logstash、Beats，Elastic Stack還被廣泛運用在大數據近實時分析領域，包括日志分析、指標監控、信息安全等多個領域。它可以幫助你探索海量結構化、非結構化數據，按需創建可視化報表，對監控數據設置報警閾值，甚至通過使用機器學習技術，自動識別異常狀況。 一、京東到家訂單中心 Elasticsearch 演進歷程 京東…
-
14個Linux系統安全小妙招，總有一招用的上
對于互聯網IT從業人員來說，越來越多的工作會逐漸轉移到Linux系統之上，這一點，無論是開發、運維、測試都應該是深有體會。曾有技術調查網站W3Techs于2018年11月就發布一個調查報告，報告顯示Linux在網站服務器的系統中使用率高達37.2%，這一數據也表明，Linux系統被廣泛應用。其實，除了在網站服務器中的應用，Linux系統還被用于DNS域名解析服務器、電子郵件服務器、一些開源軟件的應用（大數據應用：據Linux基金會的研究，86%的企業已經使用Linux操作系統進行云計算、大數據平…
-
干貨！MySql DAL中間件總結
1.前言 mysql作為互聯網公司都會用到的數據庫，如果在使用過程中出現性能問題，會采用mysql的橫向擴展，使用主從復制來提高讀性能，要是解決寫入問題，需要進行分庫分表。本文不會去介紹mysql的高可用，需要了解Mysql高可用架構相關的請戳 淺談MySQL集群高可用架構，本文主要介紹mysql的訪問中間件（DAL）的一些實現方案。 2.Atlas 官網：https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md 2.1.atlas簡介…
-
Https詳解
http存在的隱患 HTTP是屬于應用層的協議，它是基于TCP/IP的，所以它只是規定一些要傳輸的內容，以及頭部信息，然后通過TCP協議進行傳輸，依靠IP協議進行尋址，通過一幅最簡單的圖來描述： 客戶端發出請求，服務端進行響應，就是這么簡單。在整個過程中，沒有任何加密的東西，所以它是不安全的，中間人可以進行攔截，獲取傳輸和響應的數據，造成數據泄露。 對稱加密 對于這種情況，我們想到的最直接的辦法就是對數據加密 這種加密方式叫做：對稱加密。 加密和解密用同一個秘鑰的加密方式叫做對稱加密。但是對稱加…
-
老司機告訴你：正規的運維工作是什么的？
互聯網運維工作，以服務為中心，以穩定、安全、高效為三個基本點，確保公司的互聯網業務能夠 7×24 小時為用戶提供高質量的服務。 運維人員對公司互聯網業務所依賴的基礎設施、基礎服務、線上業務進行穩定性加強，進行日常巡檢發現服務可能存在的隱患，對整體架構進行優化以屏蔽常見的運行故障，多數據中接入提高業務的容災能力。 通過監控、日志分析等技術手段，及時發現和響應服務故障，減少服務中斷的時間，使公司的互聯網業務符合預期的可用性要求，持續穩定地為用戶提供務。 在安全方面，運維人員需要關注業務運行所涉及的各…
-
谷歌SRE與運維工作的思考
運維部門要保障產品業務穩定性，開發部門要想隨時隨地快速上線新功能，而線上的故障往往是由新的變更導致的——不管是新發布了版本，還是修改配置，或者是改變了用戶某些行為導致流量負載產生變化，傳統意義上這兩個部門在本質目標上是相對的。所以運維部門往往會要求開發部門對變更或發布做控制，并且規定要走一些繁瑣的流程；而開發部門會想法設法繞過這些繁瑣步驟，以支持新功能更快上線。 谷歌的工作方式：面對運維部門與開發部門之間的產品穩定性與迭代創新速度之間的矛盾，允許產品在設定的“錯誤預算”內發生異常，利用可量化的S…
-
Kafka+ZooKeeper高可用集群部署
集群環境 kafka+zk 我這里并沒有設置專業的存儲設備，大家用到生產中一定要把數據存儲到專業的存儲設備或者帶有冗余設備的磁盤上 ###部署JDK tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ cat << EOF >> /etc/profile #################JAVA################# export JAVA_HOME=/usr/local/jdk1.8.0_161 export …
-
Kubernetes中的emptyDir存儲卷和節點存儲卷
Kubernetes支持存儲卷類型中，emptyDir存儲卷的生命周期與其所屬的Pod對象相同，它無法脫離Pod對象的生命周期提供數據存儲功能，因此emptyDir通常僅用于數據緩存或臨時存儲。不過基于emptyDir構建的gitRepo存儲卷可以在Pod對象的生命周期起始時從響應的Git倉庫中復制相應的數據文件到底層的emptyDir中，從而使得它具有了一定意義上的持久性。 emptyDir存儲卷 emptyDir存儲卷是Pod對象生命周期中的一個臨時目錄，類似于Docker上的docker掛…
-
干貨分享建議收藏：Jenkins集成GitLab
Jenkins免密拉取GitLab項目 1.在Jenkins上為GitLab創建一個專有的拉取代碼的賬號 Jenkins需要構建哪些項目就在GitLab給予賬號相應權限 我這里已經創建過Jenkins用戶，下面用它登錄后添加SSH-KEY 2.在Jenkins服務器上生成ssh-key [root@jenkins ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save th…
