-
用Python執(zhí)行SQL、Excel常見任務(wù)?10個方法全搞定!
數(shù)據(jù)從業(yè)者有許多工具可用于分割數(shù)據(jù)。有些人使用 Excel,有些人使用SQL,有些人使用Python。對于某些任務(wù),使用 Python 的優(yōu)點是顯而易見的。以更快的速度處理更大的數(shù)據(jù)集。使用基于 Python 構(gòu)建的開源機器學(xué)習(xí)庫。你可以輕松導(dǎo)入和導(dǎo)出不同格式的數(shù)據(jù)。 由于其多功能性,Python 可以成為任何數(shù)據(jù)分析師工具箱的重要組成部分。但是,這很難開始。大多數(shù)數(shù)據(jù)分析師可能熟悉 SQL 或 Excel。本篇是涉及幫助你將技能和技術(shù)從 EXcel 和 SQL 轉(zhuǎn)移到 Python。 首先,讓…
-
Numpy怎么使用最高效,5個技巧送給你!
本文作者將分享 5 個優(yōu)雅的 Python Numpy 函數(shù),有助于高效、簡潔的數(shù)據(jù)處理。 在 reshape 函數(shù)中使用參數(shù)-1 Numpy 允許我們根據(jù)給定的新形狀重塑矩陣,新形狀應(yīng)該和原形狀兼容。有意思的是,我們可以將新形狀中的一個參數(shù)賦值為-1。這僅僅表明它是一個未知的維度,我們希望 Numpy 來算出這個未知的維度應(yīng)該是多少:Numpy 將通過查看數(shù)組的長度和剩余維度來確保它滿足上述標準。讓我們來看以下例子: 維度為-1 的不同 reshape 操作圖示。 假設(shè)我們給定行參數(shù)為 1,列…
-
強!僅 1 行 Python 代碼就能實現(xiàn)數(shù)據(jù)分析
sweetviz是一個基于Python編寫的數(shù)據(jù)分析軟件,只要掌握3種函數(shù)用法,一行Python代碼就能實現(xiàn)數(shù)據(jù)集可視化、分析與比較。 以Titanic數(shù)據(jù)集為例,輸入一行代碼: 一個1080p的清晰網(wǎng)頁界面就出現(xiàn)在了眼前。 不僅根據(jù)性別、年齡等不同欄目縱向分析數(shù)據(jù),每個欄目下還有眾數(shù)、最大值、最小值等橫向?qū)Ρ取?所有輸入的數(shù)值、文本信息都會被自動檢測,并進行數(shù)據(jù)分析、可視化和對比,最后幫你進行數(shù)據(jù)總結(jié)。 在這樣的數(shù)據(jù)分析下,結(jié)果一目了然。 這樣的效果,是基于3個主函數(shù)實現(xiàn)的。 3種函數(shù)用法 a…
-
輕量級日志分析平臺Loki實戰(zhàn)
簡介: Loki的第一個穩(wěn)定版本于2019年11月19日發(fā)布,是 Grafana Labs 團隊最新的開源項目,是一個水平可擴展,高可用性,多租戶的日志聚合系統(tǒng)。Loki 是專門用于聚集日志數(shù)據(jù),重點是高可用性和可伸縮性。與競爭對手不同的是,它確實易于安裝且資源效率極高。 特點: 優(yōu)點: 1、Loki的架構(gòu)非常簡單,使用了和prometheus一樣的標簽來作為索引,通過這些標簽既可以查詢?nèi)罩镜膬?nèi)容也可以查詢到監(jiān)控的數(shù)據(jù),不但減少了兩種查詢之間的切換成本,也極大地降低了日志索引的存儲。 2、與EL…
-
Filebeat、Logstash、Rsyslog 各種姿勢采集Nginx日志
由于nginx功能強大,性能突出,越來越多的web應(yīng)用采用nginx作為http和反向代理的web服務(wù)器。而nginx的訪問日志不管是做用戶行為分析還是安全分析都是非常重要的數(shù)據(jù)源之一。如何有效便捷的采集nginx的日志進行有效的分析成為大家關(guān)注的問題。 本文通過幾個實例來介紹如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯誤日志。 大家都知道ELK技術(shù)棧是采集、分析日志的利器。所以這里介紹的是從nginx采集日志到ES。當然至于日志采集以后存到看大家的需要…
-
基于Kubernetes和Jenkins的GitOps實戰(zhàn)
如果你在關(guān)注軟件交付領(lǐng)域,一定聽說過 GitOps! GitOps是云原生DevOps的最佳實踐方法之一,面向Kubernetes提供了一種更加高效、穩(wěn)定和安全的CI/CD模型,其核心思想是將應(yīng)用系統(tǒng)的聲明性基礎(chǔ)架構(gòu)和應(yīng)用程序存放在 Git 的版本控制庫中,并視相關(guān)的Git倉庫為惟一可信源。 將 GitOps 理論方法應(yīng)用在持續(xù)交付流水線上,有諸多優(yōu)勢和特點: 安全的云原生 CI/CD 管道模型 更快的平均部署時間和平均恢復(fù)時間 穩(wěn)定且可重現(xiàn)的回滾(例如,根據(jù) Git 恢復(fù) / 回滾 / for…
-
一套Linux硬核資源,限時白嫖,隨時刪除
??Linux是現(xiàn)在最受歡迎的操作系統(tǒng),它一般運行于服務(wù)器和超級計算機上,我們?nèi)粘TL問網(wǎng)站背后的數(shù)百萬臺服務(wù)器很有可能運行著的操作系統(tǒng)就是Linux。 想要嘗試自學(xué)linux入行的,第一步就要熟悉它常用的一些命令,為了能夠讓大家更方便的學(xué)習(xí),今天給大家整理了一份所有人都可以學(xué)習(xí)的《linux筆記》,以求幫助大家踏入linux的第一步,免費領(lǐng)取方式在文末! 本教程以入門進階為目的,可以解決新手在Linux學(xué)習(xí)中遇到的常見問題,并且對其中的重點、難點、易錯點進行詳細講解。 內(nèi)容上絕對有別于市面上那些…
-
15 個讓新手愛不釋手的 Python 高級庫
為什么我喜歡 Python ? 對于初學(xué)者來說,這是一種簡單易學(xué)的編程語言;另一個原因:大量開箱即用的第三方庫,正是 23 萬個由用戶提供的軟件包使得 Python 真正強大和流行 在本文中,我挑選了15個最有用的軟件包,介紹它們的功能和特點 1. Dash Dash 是比較新的軟件包,它是用純 Python 構(gòu)建數(shù)據(jù)可視化 app 的理想選擇,因此特別適合處理數(shù)據(jù)的任何人。Dash 是 Flask,Plotly.js 和 React.js 的混合體。 2. Pygame Pygame 是 SD…
-
市場規(guī)模達27億!平均薪資22K,DevOps運維開發(fā)真實現(xiàn)狀!
4月19日 DevOps運維&開發(fā)課程 線上&線下同步開班! 運維?+ 開發(fā) 雙軌驅(qū)動 Python學(xué)科領(lǐng)頭人親授 對標阿里P7,沖刺月薪25K! 早期運維和開發(fā)分別承擔不同的職能,中期要求兩撥人密切交流、快速迭代;而現(xiàn)在流行的做法是將兩個職能部門的人融合為一個部門,實現(xiàn)開發(fā)運維一體化(DevOps)。正如阿里云團隊所言,今后的運維人,如果不會自己寫代碼,就要開發(fā)替你寫了! 目前,DevOps處于高速增長的階段。根據(jù)艾瑞的調(diào)查結(jié)果顯示,2020年國內(nèi)DevOps相關(guān)產(chǎn)品的市場規(guī)模…
-
修改 Docker 鏡像默認存儲位置的方法
由于系統(tǒng)初始分區(qū)的原因,導(dǎo)致操作系統(tǒng)中對應(yīng) / 分區(qū)不會太大,通過 /var 目錄不會單獨分區(qū)。如果上面運行 Docker 服務(wù),經(jīng)過長時間的使用,會使原本就比較大的分區(qū)越來越不夠用。如何更好地的處理這個問題呢? 1. 使用軟鏈接 我們知道在操作系統(tǒng)當中,默認情況下 Docker 容器的存放位置在 /var/lib/docker 目錄下面,可以通過下面命令查看具體位置。 解決默認存儲容量不足的情況,最直接且最有效的方法就是掛載新的分區(qū)到該目錄。但是在原有系統(tǒng)空間不變的情況下,所以采用軟鏈接的方式…