【引言】
深夜的寧靜，好像更適合學習，尤其是一個人的房間。晚上跟老朋友打了電話，談論現在和未來。挺好的，比以前坦誠，比以前更相信努力有用。所以加上晚飯前後跟導師的討論，包括技術棧的需要，終於對爬蟲框架動手了。另：這是買數據分析挖掘課程送得五個課程之一。
全課程接近四個小時，最好兩天搞定，快速上手並完成項目部署基本操作。
目錄
1.介紹Scrapy
課程從Scrapy框架的介紹開始，使用語言是Python，包括步驟、用途。
隨後用了一張官網上的運行原理圖來介紹了Scrapy的結構，注意其中幾個關鍵的流程，關鍵部件，中間件。
2.Scrapy框架的安裝
使用pip命令來安裝
pip install scrapy
安裝完成後，到安裝的路徑下打開命令行使用以下命令查看安裝的版本：
scrapy version
這裏要記錄其中遇到的問題，有一個博文幫助解決了。裝scrapy的時候因爲是手機APN支持的辦公，所以牆上加強，下載非常慢，經常出現time out的情況，朋友提供思路可以替換鏡像源，所以今天一開始就沒有嘗試按照規矩套路走。對照着這個連接完成了scrapy的安裝，階梯爲證，這裏把原博主貼出來。pip換源 安裝scrapy【臨時/永久兩種方法】，感謝博主，接着往後走。
3.Scrapy框架的使用
重點在於介紹命令/爬蟲案例
3.1Scrapy庫框架的命令介紹
- 命令分爲兩種全局命令和項目命令 ，包括幾個常用命令可以常用常新：
![]()
老師對全局命令進行演示，也跟着練習了一下，其中對於幾個命令比較感興趣，fetch和shell~
其中，選取shell命令進行練習，對百度網站進行測試爬蟲。
然後對爬取結果進行選取輸出。其中xpath內直接用結構解析網頁內容。
對scrapy命令進行練習後，可以創建新項目試試，依舊是在命令行界面，這裏我爲了方便管理代碼文件，在指定目錄下打開命令行，重新輸入：
scrapy startproject demo1(項目名)
回車後出現成功結果，確實在指定目錄下完成了項目demo1的創建：
輸入命令cd demo1以後進入項目內，繼續使用scrapy命令，出現前面介紹的項目命令，與全局命令更多的是對於項目進程的操作命令：
這節部分就到這裏，後面老師會帶着做一個基於scrapy實現的我愛我家項目，放在另一篇博文來補充。
Slogan：刻意練習，每日精進。