馬哥教育走訪小米、新浪、百度調研,將一線技術落地課堂
大家好,我是張sir,原大眾點評運維架構師、馬哥教育聯合創始人。
在2020年結尾,我收到在北京的老學員邀約,就去深入了解了下他們所在的幾家一線互聯網企業運維技術的發展方向。在通過對小米、新浪、百度的調研后,可以很明確的告訴小伙伴們,2021年,Linux運維人必須提升到SRE(站點可靠性工程師,下一代運維工程師的發展定位)為什么這么說?大家可以往下看!
疫情期間,進入小米需要邀請卡才能進入
總部一樓是個咖啡廳,很多工程師在此交流
因涉及到學員隱私,就不展示討論的照片了。整體跟大家分享下小米團隊運維團隊明年的技術發展方向:
老學員目前是小米的主力工程師,SRE崗位,擔任核心業務的整體運維工作,跟老學員聊了3個多小時,比較全面的了解到目前小米整體業務基本都構建在云上了,自有的機房占比不大,用金山云比較多(你懂得),小米的Linux運維工程師在內部都已經改名為SRE工程師,這也是目前行業的主流趨勢,運維不光是部署應用,需要確保整個業務線的業務穩定性、資源使用的合理性、問題處理的高效性。
目前老學員所負責的業務已經遷移到K8s之上,正在做內部推廣擴大。小米的很多業務都開始用語言go開發了。Go憑借高性能,被不少大廠所青睞。運維會Python和go都可以。目前小米也在研究Istio的發展方向。預計明年會落地。
概括五點:
一、SRE工程師已經是傳統運維的職業發展方向
二、K8s已在大廠深入人心,已成為標配
三、大廠已經基本完成云化業務部署
四、Go語言在互聯網公司會越來越吃香
五、Istio是下一代服務網格技術將得以重用
在會議室與老學員做了一上午技術交流
總結:小米的整體運維還是做得很不錯的,有比較全面的運維體系和自動化工具,團隊也是比較健壯,有負責業務層面的SRE,也有平臺架構組專門做DevOps工具研發,想進大廠的同學們要加把油了,微服務、容器云、SRE、Devops已經是大廠的標配技術。
走訪新浪總部技術調研
北京好冷,零下3度來到北京新浪-微博總部
新浪大廈占地非常大,大廳采用的白色體系
辦公區域很開放,大廠基本都是這種布局
跟大家分享下新浪團隊明年的技術發展方向:
新浪因為是老牌公司,業務線繁多,各個業務線的業務模型和標準不太一樣。有些業務是在自建機房,有些是用的云體系。因為新浪團隊發展時間比較長,整體上業務穩定性比較高。微博團隊會辛苦點,主要是熱搜鬧得。
老學員交流中談到,有些熱爆的事件,確實需要擴容很多服務器,不然業務指標會很緊張。新浪這邊常見的開源技術都能看到,如Nginx、Haproxy、Redis、Zabbix、Ansible等,從下方的招聘要求也能加以印證。
新浪這邊運維和運維開發是一體化的,統稱為SRE&Devops,運維需要保障業務,兼顧做一些系統開發,雖然都有上云,但是在云上還是需要做一些系統化的工具來實現高效管理的。
新浪目前核心業務板塊在微博,整個微博技術團隊還是非常強大的。保障性要求非常高。新浪的監控也用到很多,其中涉及到Prometheus、Grafana等,不少服務都在跑容器化、不少業務也跑到K8s上了。在很多公司,SRE崗偏業務層面多一些,Devops崗位偏運維系統開發多一點。
總結概括三點:
一、運維也要求開發技能,已經一體化
二、常見的開源軟件基本都在用
三、運用多個云平臺、實現多云化管理,在逐步實現K8s管理
交流了3個多小時后準備離開新浪趕往下一站
走訪百度總部技術調研
百度大堂的slogan
百度的辦公環境跟小米、新浪比起來如何
老學員的工位,蘋果電腦是百度運維的標配
跟老學員交流中得知,百度技術實力其實還是非常強的,很多的系統和工具,基本都是自研的,像負載均衡、web服務、存儲管理等基本都是自己開發的。但是這就會造成一個問題,管理成本太高。
因為公司都有人員流動性,核心項目團隊人員變動后,新人很難接管自研的項目。所以目前百度也在逐步用一些開源的成熟的產品來做一些系統的替代。常見像Nginx、tomcat、ELK、Haproxy、Jenkins、Docker等開源應用還是非常靈活的。很多廠商選用后只需要做一些二次開發,就成為線上主要業務的核心技術支撐。
老學員在百度目前做的一個工作是容量化管理,就是要看各個業務線對資源的使用情況是否合理,如何更好的彈性收縮業務、快速擴容,**老學員平時用Python和go會去寫一些管理工具和監控腳本;**比如百度地圖在假期期間,個別景點的訪問量是平時的好多倍。
如何更高效利用資源,服務治理、微服務管理,也是SRE人員需要考慮的,因為開發往往不關注和重視這些。資源隨便申請,利用率低在互聯網公司也是常態。**百度的運維崗位也完全變更為SRE崗位了。**除了業務線的正常業務支撐,可靠性的保障,還要關注業務線的資源使用率。包括開發團隊申請的服務器都需要算錢,來核算成本。其實這樣做也能體現出運維人員的價值:提高效率,為公司省錢!
總體概括四點:*
一、SRE工程師在大廠已經是標配
二、開源解決方案在大廠也有運用空間
三、運維人員不光是保障業務穩定,服務和資源治理在大廠也很重要
四、微服務、服務治理、Python、go是大廠工程師核心技術
調研總結及2021運維人必須掌握的:
通過調研發現,隨著企業的從傳統機房–>云計算–>多云容器微服務的業務躍遷,Linux運維工程師的工作也發生了很大的變化,工作重點從傳統的跑機房,裝服務已經慢慢遷移到了云平臺及微服務、容器化的運作模式。
從百度、新浪、小米等一線大廠實際調研的技術應用及招聘需求可看出,在Linux運維領域,需要的人才已經偏向2條主線即:SRE(Site Reliability Engineer 網站可靠性工程師及DevOps(運維開發工程師)
Linux云計算架構師大廠SRE工程師薪資18-35K
SRE是什么?
說了這么多可能還有一部分朋友對SRE概念不是很了解,SRE(Site Reliability Engineering)即網站可靠性工程,SRE是軟件工程師和系統管理員的結合,一個SRE工程師基本上需要掌握很多知識:編程能力,網絡編程,分布式系統,可擴展架構,故障排除。SRE最早在十多年前Google提出并應用,近幾年逐步在國內外TOP互聯網公司都開始廣泛應用。SRE這種用于IT運營的軟件工程方法,也正逐漸成為主流方法。因此國內各大企業紛紛向SRE人才拋出了橄欖枝!
目前已經實現從Linux運維工程師(8-12K)–>Linux云計算工程師(12-18K)–>Linux云計算架構師及大廠SRE工程師(18-35K)全面進階
另外一條線是Devops路線,從Linux運維工程師(8-12K)–>Linux云計算工程師(12-18K)–>Devops運維開發工程師(18-35K)高維躍遷
其中,像微服務配置中心及Apollo、分布式鏈路請求跟蹤、微服務Dubbo分布式框架、指標采集、監控系統Prometheus與日志系統、Envoy集群管理、服務韌性與流量管理、可觀測性和網格安全實戰、Istio服務網格及應用、策略、遙測和網格安全為高薪必備模塊,通過調研了解到,這些技術都是不少大廠明年即將上線的技術項目。從招聘需求來看,掌握這些后跳槽大廠,薪資至少要增長50%+以上。
此外,還新增了八大型互聯網項目,包括:ceph分布式存儲;k8s企業實戰 ;騰訊/阿里云;jumpserver安全跳板機;分布式存儲方案;OpenVPN;Devops技術;Jekins+Gitlab。
通過本次課程可以讓學員從上到下實現全鏈路治理能力,可基于業務使用場景,深入優化提供最佳服務治理實踐,推動提升服務的可靠性、可擴展性以及性能優化,保障系統SLA,具備實現中臺基礎架構的全面能力。
(K8s體系架構和關聯模塊)
學完后能不能找到好工作拿到理想的薪資?其實,從2009年至今,我們培養的學員已經成為或正在成長為國內眾多相關公司的核心運維人員或管理人員,同時與馬哥教育建立人才合作關系的企業達500+家,深度合作企業100+家。包括騰訊、百度、阿里、京東、美團點評、螞蟻金服、唯品會、新浪、頭條等國內知名互聯網公司,優秀學員可直接享受海量內推崗位,讓你擁有更多獲得大廠的高薪offer機會!完全不用擔心學完找不到工作這一難題!
而且在馬哥你獲取的不僅是技術,還有高端的人脈圈。
寫在最后:在信息爆炸的時代,技術的發展可謂日新月異,技術人不僅要保持對技術對熱情,也要不斷努力提升自己,無論如何,從現在開始行動,前路慢慢,上下求索。
最后引用巴菲特說過的一句話:人應該盡可能投資“某項東西”,因為他的投資回報率最高,而且人人都可以直接上手。這項投資就是:你自己。