【Python面試真題】- 寫爬蟲是用多進(jìn)程好？還是多線程好？ 為什么？

IO密集型代碼(文件處理、網(wǎng)絡(luò)爬蟲等)，多線程能夠有效提升效率(單線程下有IO操作會進(jìn)行IO等待，造成不必要的時(shí)間浪費(fèi)，而開啟多線程能在線程A等待時(shí)，自動切換到線程B，可以不浪費(fèi)CPU的資源，從而能提升程序執(zhí)行效率)。在實(shí)際的數(shù)據(jù)采集過程中，既考慮網(wǎng)速和響應(yīng)的問題，也需要考慮自身機(jī)器的硬件情況，來設(shè)置多進(jìn)程或多線程