-
用Python執(zhí)行SQL、Excel常見(jiàn)任務(wù)?10個(gè)方法全搞定!
數(shù)據(jù)從業(yè)者有許多工具可用于分割數(shù)據(jù)。有些人使用 Excel,有些人使用SQL,有些人使用Python。對(duì)于某些任務(wù),使用 Python 的優(yōu)點(diǎn)是顯而易見(jiàn)的。以更快的速度處理更大的數(shù)據(jù)集。使用基于 Python 構(gòu)建的開(kāi)源機(jī)器學(xué)習(xí)庫(kù)。你可以輕松導(dǎo)入和導(dǎo)出不同格式的數(shù)據(jù)。 由于其多功能性,Python 可以成為任何數(shù)據(jù)分析師工具箱的重要組成部分。但是,這很難開(kāi)始。大多數(shù)數(shù)據(jù)分析師可能熟悉 SQL 或 Excel。本篇是涉及幫助你將技能和技術(shù)從 EXcel 和 SQL 轉(zhuǎn)移到 Python。 首先,讓…
-
Numpy怎么使用最高效,5個(gè)技巧送給你!
本文作者將分享 5 個(gè)優(yōu)雅的 Python Numpy 函數(shù),有助于高效、簡(jiǎn)潔的數(shù)據(jù)處理。 在 reshape 函數(shù)中使用參數(shù)-1 Numpy 允許我們根據(jù)給定的新形狀重塑矩陣,新形狀應(yīng)該和原形狀兼容。有意思的是,我們可以將新形狀中的一個(gè)參數(shù)賦值為-1。這僅僅表明它是一個(gè)未知的維度,我們希望 Numpy 來(lái)算出這個(gè)未知的維度應(yīng)該是多少:Numpy 將通過(guò)查看數(shù)組的長(zhǎng)度和剩余維度來(lái)確保它滿(mǎn)足上述標(biāo)準(zhǔn)。讓我們來(lái)看以下例子: 維度為-1 的不同 reshape 操作圖示。 假設(shè)我們給定行參數(shù)為 1,列…
-
強(qiáng)!僅 1 行 Python 代碼就能實(shí)現(xiàn)數(shù)據(jù)分析
sweetviz是一個(gè)基于Python編寫(xiě)的數(shù)據(jù)分析軟件,只要掌握3種函數(shù)用法,一行Python代碼就能實(shí)現(xiàn)數(shù)據(jù)集可視化、分析與比較。 以Titanic數(shù)據(jù)集為例,輸入一行代碼: 一個(gè)1080p的清晰網(wǎng)頁(yè)界面就出現(xiàn)在了眼前。 不僅根據(jù)性別、年齡等不同欄目縱向分析數(shù)據(jù),每個(gè)欄目下還有眾數(shù)、最大值、最小值等橫向?qū)Ρ取?所有輸入的數(shù)值、文本信息都會(huì)被自動(dòng)檢測(cè),并進(jìn)行數(shù)據(jù)分析、可視化和對(duì)比,最后幫你進(jìn)行數(shù)據(jù)總結(jié)。 在這樣的數(shù)據(jù)分析下,結(jié)果一目了然。 這樣的效果,是基于3個(gè)主函數(shù)實(shí)現(xiàn)的。 3種函數(shù)用法 a…
-
輕量級(jí)日志分析平臺(tái)Loki實(shí)戰(zhàn)
簡(jiǎn)介: Loki的第一個(gè)穩(wěn)定版本于2019年11月19日發(fā)布,是 Grafana Labs 團(tuán)隊(duì)最新的開(kāi)源項(xiàng)目,是一個(gè)水平可擴(kuò)展,高可用性,多租戶(hù)的日志聚合系統(tǒng)。Loki 是專(zhuān)門(mén)用于聚集日志數(shù)據(jù),重點(diǎn)是高可用性和可伸縮性。與競(jìng)爭(zhēng)對(duì)手不同的是,它確實(shí)易于安裝且資源效率極高。 特點(diǎn): 優(yōu)點(diǎn): 1、Loki的架構(gòu)非常簡(jiǎn)單,使用了和prometheus一樣的標(biāo)簽來(lái)作為索引,通過(guò)這些標(biāo)簽既可以查詢(xún)?nèi)罩镜膬?nèi)容也可以查詢(xún)到監(jiān)控的數(shù)據(jù),不但減少了兩種查詢(xún)之間的切換成本,也極大地降低了日志索引的存儲(chǔ)。 2、與EL…
-
Filebeat、Logstash、Rsyslog 各種姿勢(shì)采集Nginx日志
由于nginx功能強(qiáng)大,性能突出,越來(lái)越多的web應(yīng)用采用nginx作為http和反向代理的web服務(wù)器。而nginx的訪問(wèn)日志不管是做用戶(hù)行為分析還是安全分析都是非常重要的數(shù)據(jù)源之一。如何有效便捷的采集nginx的日志進(jìn)行有效的分析成為大家關(guān)注的問(wèn)題。 本文通過(guò)幾個(gè)實(shí)例來(lái)介紹如何通過(guò)filebeat、logstash、rsyslog采集nginx的訪問(wèn)日志和錯(cuò)誤日志。 大家都知道ELK技術(shù)棧是采集、分析日志的利器。所以這里介紹的是從nginx采集日志到ES。當(dāng)然至于日志采集以后存到看大家的需要…
-
基于Kubernetes和Jenkins的GitOps實(shí)戰(zhàn)
如果你在關(guān)注軟件交付領(lǐng)域,一定聽(tīng)說(shuō)過(guò) GitOps! GitOps是云原生DevOps的最佳實(shí)踐方法之一,面向Kubernetes提供了一種更加高效、穩(wěn)定和安全的CI/CD模型,其核心思想是將應(yīng)用系統(tǒng)的聲明性基礎(chǔ)架構(gòu)和應(yīng)用程序存放在 Git 的版本控制庫(kù)中,并視相關(guān)的Git倉(cāng)庫(kù)為惟一可信源。 將 GitOps 理論方法應(yīng)用在持續(xù)交付流水線上,有諸多優(yōu)勢(shì)和特點(diǎn): 安全的云原生 CI/CD 管道模型 更快的平均部署時(shí)間和平均恢復(fù)時(shí)間 穩(wěn)定且可重現(xiàn)的回滾(例如,根據(jù) Git 恢復(fù) / 回滾 / for…
-
一套Linux硬核資源,限時(shí)白嫖,隨時(shí)刪除
??Linux是現(xiàn)在最受歡迎的操作系統(tǒng),它一般運(yùn)行于服務(wù)器和超級(jí)計(jì)算機(jī)上,我們?nèi)粘TL問(wèn)網(wǎng)站背后的數(shù)百萬(wàn)臺(tái)服務(wù)器很有可能運(yùn)行著的操作系統(tǒng)就是Linux。 想要嘗試自學(xué)linux入行的,第一步就要熟悉它常用的一些命令,為了能夠讓大家更方便的學(xué)習(xí),今天給大家整理了一份所有人都可以學(xué)習(xí)的《linux筆記》,以求幫助大家踏入linux的第一步,免費(fèi)領(lǐng)取方式在文末! 本教程以入門(mén)進(jìn)階為目的,可以解決新手在Linux學(xué)習(xí)中遇到的常見(jiàn)問(wèn)題,并且對(duì)其中的重點(diǎn)、難點(diǎn)、易錯(cuò)點(diǎn)進(jìn)行詳細(xì)講解。 內(nèi)容上絕對(duì)有別于市面上那些…
-
15 個(gè)讓新手愛(ài)不釋手的 Python 高級(jí)庫(kù)
為什么我喜歡 Python ? 對(duì)于初學(xué)者來(lái)說(shuō),這是一種簡(jiǎn)單易學(xué)的編程語(yǔ)言;另一個(gè)原因:大量開(kāi)箱即用的第三方庫(kù),正是 23 萬(wàn)個(gè)由用戶(hù)提供的軟件包使得 Python 真正強(qiáng)大和流行 在本文中,我挑選了15個(gè)最有用的軟件包,介紹它們的功能和特點(diǎn) 1. Dash Dash 是比較新的軟件包,它是用純 Python 構(gòu)建數(shù)據(jù)可視化 app 的理想選擇,因此特別適合處理數(shù)據(jù)的任何人。Dash 是 Flask,Plotly.js 和 React.js 的混合體。 2. Pygame Pygame 是 SD…
-
市場(chǎng)規(guī)模達(dá)27億!平均薪資22K,DevOps運(yùn)維開(kāi)發(fā)真實(shí)現(xiàn)狀!
4月19日 DevOps運(yùn)維&開(kāi)發(fā)課程 線上&線下同步開(kāi)班! 運(yùn)維?+ 開(kāi)發(fā) 雙軌驅(qū)動(dòng) Python學(xué)科領(lǐng)頭人親授 對(duì)標(biāo)阿里P7,沖刺月薪25K! 早期運(yùn)維和開(kāi)發(fā)分別承擔(dān)不同的職能,中期要求兩撥人密切交流、快速迭代;而現(xiàn)在流行的做法是將兩個(gè)職能部門(mén)的人融合為一個(gè)部門(mén),實(shí)現(xiàn)開(kāi)發(fā)運(yùn)維一體化(DevOps)。正如阿里云團(tuán)隊(duì)所言,今后的運(yùn)維人,如果不會(huì)自己寫(xiě)代碼,就要開(kāi)發(fā)替你寫(xiě)了! 目前,DevOps處于高速增長(zhǎng)的階段。根據(jù)艾瑞的調(diào)查結(jié)果顯示,2020年國(guó)內(nèi)DevOps相關(guān)產(chǎn)品的市場(chǎng)規(guī)模…
-
修改 Docker 鏡像默認(rèn)存儲(chǔ)位置的方法
由于系統(tǒng)初始分區(qū)的原因,導(dǎo)致操作系統(tǒng)中對(duì)應(yīng) / 分區(qū)不會(huì)太大,通過(guò) /var 目錄不會(huì)單獨(dú)分區(qū)。如果上面運(yùn)行 Docker 服務(wù),經(jīng)過(guò)長(zhǎng)時(shí)間的使用,會(huì)使原本就比較大的分區(qū)越來(lái)越不夠用。如何更好地的處理這個(gè)問(wèn)題呢? 1. 使用軟鏈接 我們知道在操作系統(tǒng)當(dāng)中,默認(rèn)情況下 Docker 容器的存放位置在 /var/lib/docker 目錄下面,可以通過(guò)下面命令查看具體位置。 解決默認(rèn)存儲(chǔ)容量不足的情況,最直接且最有效的方法就是掛載新的分區(qū)到該目錄。但是在原有系統(tǒng)空間不變的情況下,所以采用軟鏈接的方式…