數(shù)據(jù)專家必知必會的 7 款 Python 工具
如果你有志于做一個數(shù)據(jù)專家,你就應該保持一顆好奇心,總是不斷探索,學習,問各種問題。在線入門教程和視頻教程能幫你走出第一步,但是最好的方式就是通過熟悉各種已經(jīng)在生產(chǎn)環(huán)境中使用的工具而為成為一個真正的數(shù)據(jù)專家做好充分準備。
我咨詢了我們真正的數(shù)據(jù)專家,收集整理了他們認為所有數(shù)據(jù)專家都應該會的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學生們花大量的時間沉浸在這些技術里。當你找第一份工作的時候,你曾經(jīng)投入的時間而獲得的對工具的深入理解將會使你有更大的優(yōu)勢。下面就了解它們一下吧:
IPython
IPython 是一個在多種編程語言之間進行交互計算的命令行 shell,最開始是用 Python 開發(fā)的,提供增強的內(nèi)省,富媒體,擴展的 shell 語法,tab 補全,豐富的歷史等功能。IPython 提供了如下特性:
- 更強的交互 shell(基于 Qt 的終端)
- 一個基于瀏覽器的記事本,支持代碼,純文本,數(shù)學公式,內(nèi)置圖表和其他富媒體
- 支持交互數(shù)據(jù)可視化和圖形界面工具
- 靈活,可嵌入解釋器加載到任意一個自有工程里
- 簡單易用,用于并行計算的高性能工具
GraphLab Greate
GraphLab Greate 是一個 Python 庫,由 C++ 引擎支持,可以快速構(gòu)建大型高性能數(shù)據(jù)產(chǎn)品。
這有一些關于 GraphLab Greate 的特點:
- 可以在您的計算機上以交互的速度分析以 T 為計量單位的數(shù)據(jù)量。
- 在單一平臺上可以分析表格數(shù)據(jù)、曲線、文字、圖像。
- 最新的機器學習算法包括深度學習,進化樹和 factorization machines 理論。
- 可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分布系統(tǒng)上運行同樣的代碼。
- 借助于靈活的 API 函數(shù)專注于任務或者機器學習。
- 在云上用預測服務便捷地配置數(shù)據(jù)產(chǎn)品。
- 為探索和產(chǎn)品監(jiān)測創(chuàng)建可視化的數(shù)據(jù)。
Pandas
pandas 是一個開源的軟件,它具有 BSD 的開源許可,為 Python 編程語言提供高性能,易用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。在數(shù)據(jù)改動和數(shù)據(jù)預處理方面,Python 早已名聲顯赫,但是在數(shù)據(jù)分析與建模方面,Python 是個短板。Pands 軟件就填補了這個空白,能讓你用 Python 方便地進行你所有數(shù)據(jù)的處理,而不用轉(zhuǎn)而選擇更主流的專業(yè)語言,例如 R 語言。
整合了勁爆的 IPyton 工具包和其他的庫,它在 Python 中進行數(shù)據(jù)分析的開發(fā)環(huán)境在處理性能,速度,和兼容方面都性能卓越。Pands 不會執(zhí)行重要的建模函數(shù)超出線性回歸和面板回歸;對于這些,參考 statsmodel 統(tǒng)計建模工具和 scikit-learn 庫。為了把 Python 打造成頂級的統(tǒng)計建模分析環(huán)境,我們需要進一步努力,但是我們已經(jīng)奮斗在這條路上了。
PuLP
線性編程是一種優(yōu)化,其中一個對象函數(shù)被最大程度地限制了。PuLP 是一個用 Python 編寫的線性編程模型。它能產(chǎn)生線性文件,能調(diào)用高度優(yōu)化的求解器,GLPK,COIN CLP/CBC,CPLEX,和GUROBI,來求解這些線性問題。
Matplotlib
matplotlib 是基于 Python 的 2D(數(shù)據(jù))繪圖庫,它產(chǎn)生(輸出)出版級質(zhì)量的圖表,用于各種打印紙質(zhì)的原件格式和跨平臺的交互式環(huán)境。matplotlib 既可以用在 Python 腳本, ?Python 和 iPython 的 shell 界面 (ala MATLAB? 或 Mathematica?),web 應用服務器,和6類 GUI 工具箱。
matplotlib 嘗試使容易事情變得更容易,使困難事情變?yōu)榭赡堋D阒恍枰倭繋仔写a,就可以生成圖表,直方圖,能量光譜(power spectra),柱狀圖,errorcharts,散點圖(scatterplots)等,。
為簡化數(shù)據(jù)繪圖,pyplot 提供一個類 MATLAB 的接口界面,尤其是它與 IPython 共同使用時。對于高級用戶,你可以完全定制包括線型,字體屬性,坐標屬性等,借助面向?qū)ο蠼涌诮缑妫蝽?MATLAB 用戶提供類似(MATLAB)的界面。
Scikit-Learn
Scikit-Learn 是一個簡單有效地數(shù)據(jù)挖掘和數(shù)據(jù)分析工具(庫)。關于最值得一提的是,它人人可用,重復用于多種語境。它基于 NumPy,SciPy 和 mathplotlib 等構(gòu)建。Scikit 采用開源的 BSD 授權(quán)協(xié)議,同時也可用于商業(yè)。Scikit-Learn 具備如下特性:
- 分類(Classification) – 識別鑒定一個對象屬于哪一類別
- 回歸(Regression) – 預測對象關聯(lián)的連續(xù)值屬性
- 聚類(Clustering) – 類似對象自動分組集合
- 降維(Dimensionality Reduction) – 減少需要考慮的隨機變量數(shù)量
- 模型選擇(Model Selection) –比較、驗證和選擇參數(shù)和模型
- 預處理(Preprocessing) – 特征提取和規(guī)范化
Spark
Spark 由一個驅(qū)動程序構(gòu)成,它運行用戶的 main 函數(shù)并在聚類上執(zhí)行多個并行操作。Spark 最吸引人的地方在于它提供的彈性分布數(shù)據(jù)集(RDD),那是一個按照聚類的節(jié)點進行分區(qū)的元素的集合,它可以在并行計算中使用。RDDs 可以從一個 Hadoop 文件系統(tǒng)中的文件(或者其他的 Hadoop 支持的文件系統(tǒng)的文件)來創(chuàng)建,或者是驅(qū)動程序中其他的已經(jīng)存在的標量數(shù)據(jù)集合,把它進行變換。用戶也許想要 Spark 在內(nèi)存中永久保存 RDD,來通過并行操作有效地對 RDD 進行復用。最終,RDDs 無法從節(jié)點中自動復原。
Spark 中第二個吸引人的地方在并行操作中變量的共享。默認情況下,當 Spark 在并行情況下運行一個函數(shù)作為一組不同節(jié)點上的任務時,它把每一個函數(shù)中用到的變量拷貝一份送到每一任務。有時,一個變量需要被許多任務和驅(qū)動程序共享。Spark 支持兩種方式的共享變量:廣播變量,它可以用來在所有的節(jié)點上緩存數(shù)據(jù)。另一種方式是累加器,這是一種只能用作執(zhí)行加法的變量,例如在計數(shù)器中和加法運算中。