scrapy loop until universe collapses 程序設計

---

Scrapy 整體抽象架構

圖片外鏈地址備份：https://i.loli.net/2020/04/17/xjmnhgAU9akrQZ7.png

loop until universe collapses

Scrapy 程序整體循環原理

循環部分實現細節

圖片外鏈地址備份：https://i.loli.net/2020/04/19/r8Lepa6JNkhlG5M.png

core/ 下多個模塊實現細節

Downloader 模塊部分實現細節

圖片外鏈地址備份：https://i.loli.net/2020/04/19/u3SmJRO7nTrWjCb.png

Scheduler - N/A

n/a

Engine - N/A

n/a

Scraper - N/A

n/a

middleware - N/A

n/a

---

Scrapy UML

圖片外鏈地址備份：https://i.loli.net/2020/04/19/MEtrpbaTdJfDVCc.png

---

Reference

• 《Learning Scrapy》 - 知識點: Twisted 的異步回調

  關鍵字：deferred, d.addCallback, d.callback, reactor.run。
  基於 *NIX 的非阻塞I/O（異步I/O）知識。

• 🔗 Scrapy源碼分析（二）：一個參考Scrapy實現的爬蟲框架TinyScrapy

  參考內容：

  1. https://www.youtube.com/watch?v=E-fTiygBNEI&t=297s,老男孩的python全棧學習(TinyScrapy）
  2. https://www.youtube.com/watch?v=3R4gP6Egh5M演講人主要是twisted的貢獻者。

• Scrapy 源碼

轉載、引用請註明出處。