Ubuntu14.0 64bit 下Scrapy爬蟲框架的搭建

Ubuntu14.0 64bit 下Scrapy爬蟲框架的搭建

---

1. Python 2.7： Scrapy是Python框架，當然要先安裝Python ，不過由於Scrapy暫時只支持
   Python2.7，因此首先確保你安裝的是Python 2.7 .v檢查Python的版本,$ python –version

2. 安裝以來lxml和OpenSSL，可以通過進入python交互環境輸入import lxml和import
   OpenSSL，如果沒有出現錯誤則代表依賴成功安裝，如果缺少可以通過
   sudo apt-get install python-lxml
   和sudo apt-get install python-OpenSSL來安裝這兩個依賴。

3. 安裝python-dev和libevent python-dev是linux上開發python比較重要的工具，以下的情況你需要安裝

   你需要自己安裝一個源外的python類庫, 而這個類庫內含需要編譯的調用python api的c/c++文件 你自己寫的一個程序編譯需要鏈接libpythonXX.(a|so) libevent是一個時間出發的高性能的網絡庫，很多框架的底層都使用了libevent 上面兩個庫是需要安裝的，不然後面後報錯。使用下面的指令安裝
   sudo apt-get install python-dev
   sudo apt-get install libevent-dev

4. 安裝pip 因爲Scrapy可以使用pip方便的安裝，因此我們需要先安裝pip，可以使用下面的指令安裝pip sudo apt-get install python-pip
   使用pip安裝Scrapy 使用下面的指令安裝Scrapy。 sudo pip install scrapy 記住一定要獲得root權限，否則會出現下面的錯誤。 至此scrapy安裝完成，使用下面的命令檢查Scrapy是否安裝成功。 $ scrapy version