【Python面試真題】- 描述下scrapy框架運行的機制？

從start_urls里獲取第一批url并發送請求，請求由引擎交給調度器入請求隊列，獲取完畢后，調度器將請求隊列里的請求交給下載器去獲取請求對應的響應資源，并將響應交給自己編寫的解析方法做提取處理：1. 如果提取出需要的數據，則交給管道文件處理;2. 如果提取出url，則繼續執行之前的步驟(發送url請求，并由引擎將請求交給調度器入隊列...)，直到請求隊列里沒有請求，程序結束。