Python面試真題 - 寫爬蟲是用多進程好?還是多線程好? 為什么?
【Python面試真題】- 寫爬蟲是用多進程好?還是多線程好? 為什么?
IO密集型代碼(文件處理、網(wǎng)絡爬蟲等),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執(zhí)行效率)。在實際的數(shù)據(jù)采集過程中,既考慮網(wǎng)速和響應的問題,也需要考慮自身機器的硬件情況,來設置多進程或多線程