scrapy基本使用--爬取圖書首頁

  1. 務必安裝 pip install scrapy -i + 鏡像源
  2. 使用scrpay創建爬蟲項目(終端創建):
  3. 1.創建項目:scrapy startproject BOOK
    2.進入項目:cd BOOK
    3.創建爬蟲:scrapy genspider book jd.com
    4.運行爬蟲:scrapy crawl book
  4. 打開pycharm 找到你創建的項目 oppen
    在這裏插入圖片描述
  5. 在settings.py文件中修改協議還有瀏覽器的配置
    在這裏插入圖片描述瀏覽器的配置
    在這裏插入圖片描述
    改爲
    在這裏插入圖片描述

在這裏插入圖片描述

6.之後進入book.py文件進行爬蟲檢驗
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章