-
簡單實用的pandas技巧:如何將內(nèi)存占用降低90%
pandas 是一個 Python 軟件庫,可用于數(shù)據(jù)操作和分析。數(shù)據(jù)科學博客 Dataquest.io 發(fā)布了一篇關于如何優(yōu)化 pandas 內(nèi)存占用的教程:僅需進行簡單的數(shù)據(jù)類型轉(zhuǎn)換,就能夠?qū)⒁粋€棒球比賽數(shù)據(jù)集的內(nèi)存占用減少了近 90%,機器之心對本教程進行了編譯介紹。 當使用 pandas 操作小規(guī)模數(shù)據(jù)(低于 100 MB)時,性能一般不是問題。而當面對更大規(guī)模的數(shù)據(jù)(100 MB 到數(shù) GB)時,性能問題會讓運行時間變得更漫長,而且會因為內(nèi)存不足導致運行完全失敗。 盡管 Spark 這…