-
Python爬蟲工程師是干什么的？能賺多少錢？需要掌握哪些技術(shù)？
程序員有時候很難和外行人講明白自己的工作是什么，講一下“爬蟲工程師”的工作內(nèi)容是什么，需要掌握哪些技能，難點和好玩的地方等等，講到哪里算哪里吧。 一、爬蟲工程師是干嘛的？ 1、主要工作內(nèi)容？ 互聯(lián)網(wǎng)是由一個一個的超鏈接組成的，從一個網(wǎng)頁的鏈接可以跳到另一個網(wǎng)頁，在新的網(wǎng)頁里，又有很多鏈接。理論上講，從任何一個網(wǎng)頁開始，不斷點開鏈接、鏈接的網(wǎng)頁的鏈接，就可以走遍整個互聯(lián)網(wǎng)！這個過程是不是像蜘蛛沿著網(wǎng)一樣爬？這也是“爬蟲”名字的由來。 作為爬蟲工程師，就是要寫出一些能夠沿著網(wǎng)爬的”蜘蛛“程序，保存下…
-
Kubernetes 集群網(wǎng)絡(luò)從懵圈到熟悉
在Kubernetes中要保證容器之間網(wǎng)絡(luò)互通，網(wǎng)絡(luò)至關(guān)重要。而Kubernetes本身并沒有自己實現(xiàn)容器網(wǎng)絡(luò)，而是通過插件化的方式自由接入進來。在容器網(wǎng)絡(luò)接入進來需要滿足如下基本原則： Pod無論運行在任何節(jié)點都可以互相直接通信，而不需要借助NAT地址轉(zhuǎn)換實現(xiàn)。 Node與Pod可以互相通信，在不限制的前提下，Pod可以訪問任意網(wǎng)絡(luò)。 Pod擁有獨立的網(wǎng)絡(luò)棧，Pod看到自己的地址和外部看見的地址應(yīng)該是一樣的，并且同個Pod內(nèi)所有的容器共享同個網(wǎng)絡(luò)棧。 容器網(wǎng)絡(luò)基礎(chǔ) 一個Linux容器的網(wǎng)絡(luò)棧是…
-
Go語言并不簡單
Go 不是一種很簡單的編程語言。盡管它的許多方面都很簡單：語法很簡單，大多數(shù)語義也很簡單。然而，語言不僅僅是語法，我們希望利用它編寫出實用的代碼。利用 Go 編寫有用的代碼并不總是那么容易 事實證明，通過某種方式將一些簡單的功能組合在一起，編寫出有用的代碼可能會非常棘手。在 Ruby 中，如何刪除某個數(shù)組中的一項？list.delete_at(i)。如何通過值刪除條目？list.delete(value)。非常簡單！ 然而在 Go 中，事情可沒有那么容易，為了刪除索引 i，你需要執(zhí)行以下操作： …
-
IT運維面試問題總結(jié)-Linux基礎(chǔ)
1、簡述Linux主流的發(fā)行版？ Redhat、CentOS、Fedora、SuSE、Debian、Ubuntu、FreeBSD等。 2、簡述Linux啟動過程？ ⑴ 開機BIOS自檢，加載硬盤。 ⑵ 讀取MBR，MBR引導。 ⑶ grub引導菜單(Boot Loader)。 ⑷ 加載內(nèi)核kernel。 ⑸ 啟動init進程，依據(jù)inittab文件設(shè)定運行級別。 ⑹ init進程，執(zhí)行rc.sysinit文件。 ⑺ 啟動內(nèi)核模塊，執(zhí)行不同級別的腳本程序。 ⑻ 執(zhí)行/etc/rc.d/rc.loc…
-
Nginx常見用法總結(jié)(面試必備)
Nginx在日常開發(fā)過程中主要作為靜態(tài)資源服務(wù)器(http服務(wù)器)和反向代理服務(wù)器。 Nginx常用變量 $host: 請求的主機頭 $remote_addr: 客戶端IP地址 $remote_port: 客戶端端口號 $remote_user: 已經(jīng)經(jīng)過Auth Basic Module驗證的用戶名 $http_referer: 請求引用地址 $http_user_agent: 客戶端代理信息(UA) $http_x_forwarded_for: 相當于網(wǎng)絡(luò)訪問路徑 $body_bytes_s…
-
太頂了！程序員必知硬核知識大全，限時開放下載！
今天給大家安利兩本對剛?cè)腴T的程序員超級友好的兩本電子書，建議先碼后看??！ 第一本是程序員必知的硬核基礎(chǔ)知識，這是一本非常入門的經(jīng)典 PDF，看完能讓你對計算機有一個基礎(chǔ)的了解和入門，是培養(yǎng)你 內(nèi)核 的基礎(chǔ)，我們看下目錄大綱 基本上涵蓋了計算機所有基礎(chǔ)知識，從 CPU 到內(nèi)存、講解什么是二進制、磁盤、壓縮算法、操作系統(tǒng)、匯編等知識。 我們來看下內(nèi)容是怎樣的 這個圖畫的很漂亮啊，看起來就是作者在用心畫的，而且排版非常精美。 看起來一點不枯燥 現(xiàn)在這本 PDF 免費分享給你，你可以掃描下方二維碼領(lǐng)取這…
-
如何用 Python 實現(xiàn) QQ 消息自動回復？
前言 近段時間，看了一下運用python實現(xiàn)app自動化的視頻，覺得那上面的講的不錯，于是就用所學的知識做了一個程序，實現(xiàn)自動回復QQ消息。 1. 準備工作 1.1 安裝client模塊 打開命令窗口,輸入命令:pip install appium-python-client 1.2 安裝Appium Server 下載網(wǎng)址為:http://appium.io 1.3 安裝JDK 安裝好之后，添加環(huán)境變量JAVA_HOME，指定jdk的安裝目錄，小編為: 1.4 安裝android sdk 添加…
-
Google 開源力作 Istio 實錘爆火！1111頁高清（中文版 ）官方實戰(zhàn)指南開放下載！
“在K8S之后，你覺得未來最有前途的容器技術(shù)是什么呢”？ 華為云容器服務(wù)域產(chǎn)品總監(jiān)方璞曾在一次大會上向Rancher聯(lián)合創(chuàng)始人及CEO梁勝發(fā)問。 隨后自答道“我覺得是Istio?！?以目前發(fā)展勢頭來看，這個曾讓谷歌不惜與IBM一眾大廠翻臉的Istio，絕對會成為未來炙手可熱的容器技術(shù)。 如果2021年你打算在生產(chǎn)環(huán)境中落地 Service Mesh，那么 Istio 必定在你的考慮范圍之內(nèi)！ 因為在后 Kubernetes 時代，服務(wù)網(wǎng)格（Service Mesh）技術(shù)已完全取代了使用軟件庫實現(xiàn)…
-
高出招生計劃20%的SRE工程師面授班即將開班，0元試聽通道現(xiàn)已開啟！
是的！馬哥教育2021王炸班型”Linux云計算SRE工程師面授班”M44期將于3月22在北京校區(qū)正式開班！ 為了方便同學們在正式開學后迅速進入學習狀態(tài)，目前已報名學員已提前開啟預習模式！ 課程有多香？看看北京校區(qū)發(fā)來的前方發(fā)來的戰(zhàn)報！ 原計劃招生74人，截止發(fā)稿前已突破80+，報名人數(shù)還在持續(xù)增長中！為了讓更多學員學習到這門課程，我們也不得不“被迫”擴大班級規(guī)模！ 這門課究竟有什么魔力可以吸引到這么多的學員？馬哥教育為了能將最新的一線大廠技術(shù)融入到我們的課程中去，去年我們的課程研發(fā)團隊在張si…
-
Linux內(nèi)存、Swap、Cache、Buffer詳細解析
1. 通過free命令看Linux內(nèi)存 total：總內(nèi)存大小。 used：已經(jīng)使用的內(nèi)存大?。ㄟ@里面包含cached和buffers和shared部分）。 free：空閑的內(nèi)存大小。 shared：進程間共享內(nèi)存（一般不會用，可以忽略）。 buffers：內(nèi)存中寫完的東西緩存起來，這樣快速響應(yīng)請求，后面數(shù)據(jù)再定期刷到磁盤上。 cached：內(nèi)存中讀完緩存起來內(nèi)容占的大?。ㄟ@部分是為了下次查詢時快速返回）。 -/+ buffers/cache看做兩部分： -buffers/cache：正在使用的…
