如何自學Python爬蟲技術
作為程序員或者軟件測試員們的一員，置信大家一定都聽說過Python語言。
Python語言這兩年是越來越火了，它漸漸崛起也是有緣由的。
比如市場需求、入門簡單易學、支持多種語言……當然這些都是很官方的。
說白了，就是
寫個web服務，可以用Python；
寫個服務器腳本，可以用Python；
寫個桌面客戶端，可以用Python；
做機器學習數據挖掘，可以用Python；
寫測試工具自動化腳本依舊可以用Python……
Python語言是免費支持的！
既然那么好，如何利用Python進行有意義的行（zhuan）為（錢）呢？
今天，小編和大家一起學習Python爬蟲技術呢？
一、老生常談-學習準備
學會提前準備是一切好的開始，學習語言更是如此。興趣是最好的老師，學習爬蟲技術，可以給自己定個目標，比如為了妹紙，爬取時尚網站的數據信息，打包給那個她······
基礎知識必須掌握
什么是爬蟲？數據是從哪里來的？這些基礎到不行的知識點，請自行搜索！你還得掌握：
·HTML，了解網頁的結構，內容等，幫助后續的數據爬取。
·Python
因為比較簡單，零基礎可以聽一些大牛的博客文章，或者聽別人是怎么說
Python玩轉自動化測試，這個點有基礎的同學，可以略過哈~
·TCP/IP協議，HTTP協議
了解在網絡請求和網絡傳輸上的基本原理，幫助今后寫爬蟲的時候理解爬蟲的邏輯。
二、爬取整個網站的構思
當用戶在瀏覽網頁時，會看圖片。
點擊網址看到的圖片，是用戶輸入網址-DNS服務器-服務器主機-服務器請求-服務器解析-發送瀏覽器HTML、JS、CSS-瀏覽器解析-解析圖片
爬蟲需要爬取，有HTML代碼構成的網頁，然后獲取圖片和文字！
三、環境配置
環境配置總是最重要的一個環境，做過測試的都知道。Python也一樣，需要掌握幾款好用的IDE，我們來看看常用的幾個：
1、Notepad++，簡單，但是提示功能不強
2、PyCharm，用于一般IDE具備的功能，比如，調試、語法高亮、代碼跳轉、等等，同時可用于Django開發，支持Google App Engine，更酷的是，PyCharm支持IronPython！
好的開發工具是一切工作完成的前提。
爬取這么多數據，賺錢豈不是分分鐘~技藝快學起來吧！
馬哥學習交流群