一個熟悉爬蟲技術的人的獨白！
不得不說，Python爬蟲對於我來說真是個神器。之前在分析-些經濟數據的時候，需要從網上抓取一些數據下來，想了很多方法，一開始是通過Excel,但是Excel只能爬下表格，侷限性太大了。之後問了學編程的朋友，他說JavaScrip也能實現，於是懵懵董董地就去學Java (我那朋友是學Java的，我當時問他用Java能不能實現，他說JavaScript好像可以，當時我什麼都不懂，就把JavaScript理解成是Java下的一個分支，以爲JavaScript只是ava其中-個包什麼的，於是我便去學了一小會Java,無知惹的禍啊。。。)。
但整個Java體系也太龐大了 ,學起來力不從心，畢竟我只是要運用其中一部分功能而已，於是學沒多久我就放棄了。就在我迷茫的時候，我發現了Python.....
廢話說多了，說說自己的學習經歷吧。也給想學Python,想寫爬蟲的人一個參考。
一開始我是在網上自己找了個基礎的視頻來學，Python真是門簡單的語言，之前懂一點Visual Basic,感覺Python也很適合給無編程基礎的人學習。
入門視頻到最後，就做出了我的第一個爬蟲一百度貼吧圖片爬蟲 (相信很多的教程都是以百度貼吧爬蟲爲經典例子來說的。)
一開始代碼很簡單，只能爬取第一頁的數據，於是我加了一一個循環，就能夠爬取制定頁數的圖片了。並且圖片是有按順序排列的，非常方便。在篩選網址的時候用正則表達式就好了。
可是我不經常混貼吧啊，也很少有要下載貼吧圖片的需求。迴歸初衷吧。我對投資有興趣，學編程有一個原因也是爲了投資服務。在7月股災進行時的時候，我錯過了一個明顯的“撿錢”的機會，並非自身專業知識不夠，而是當時在準備考試，很少去看股市，這讓我心有不甘:要是有個東西能夠幫我自動爬取數據分析並推送就好了，於是有了以下學習軌跡:
一、爬取數據
在此順便提一下，可以到公衆號菜單欄的學習福利裏面逛逛。裏面有些教程還是挺不錯的。兩個可以替代Python裏urlib和re正則表達式的庫,它們分別叫做requests和Ixml。
第一個庫挺不錯的，現在在獲取網頁源代碼時，我都用這個庫，大家如果有不懂的可以看看那個網站。https://blog.csdn.net/iloveyin/article/details/21444613 第二個庫由於我是用3.4版本的Python,折騰了很久沒折騰進去，於是我發現了另一個不錯的庫BeautifulSoup,詳細教程參考: Python爬蟲入門八之Beautiful Soup的用法
有了requests和Beautifulsoup,基本上可以實現我想要的很多功能了。我便做了一一個抓取分級基金數據的爬蟲:
二、分析並推送
其實在此分析其實還談不上，頂多算是篩選。(不過我相信隨着 我數學能力提升會能有進一步的分析的，美好的祝願。。。)篩選很簡單，就是漲幅或收益率等等滿足一定條件就保留下來，保留下來幹嘛?推送啊! ! !
將保存下來的數據通過郵件發送到自己的郵箱，手機上下載個軟件，一切就大功告成了!
至此當時學習Python的目的就達到了，當時雞凍地要炸了! ! !
不過....那麼好玩的東西，怎麼能這麼快就結束了?再折騰吧!
三、簡單的界面
等等! Python好像不能直接弄成exe可執行文件，不能每次運行都開Python的窗口啊!強迫症怎麼能忍! 1上網搜搜發現有諸如py2exe的包可以轉換，可是老子是3.4版本啊! 折騰半天沒搞定，算了!我不是會點VB嗎，用那個吧。於是連界面都有了
剛好會點PS，做做低級的界面也不錯。
四、雲服務器
做完界面我以爲就結束了，我還是too young啊。用了幾天發現，我總不能天天開着電腦讓它就運行那麼幾個程序吧?總得有個地方能我24小時運行這些程序。本來想跟朋友的電腦輪流運行，還是太麻煩。偶然的機會我發現了雲服務器這個東西。瞭解後砸下重金買下服務器(其實- -個月30而......）
折騰-番linux系統的操作， 實現了24小時的實時推送。
而到這裏，我已經深陷到Python裏了，我覺得我應該繼續學習這門強大簡單的語言，在知乎上看到了一個問題: Quant應該學習哪些Python知識? 雖然說的是Quant但也爲我指引了-一些方向。目前正準備學習numpy,pandas,matplotlib這些庫， 以實現未來對金融、經濟數據的可視化和分析。相關的內容有一本書寫得還不錯， 叫《利用Python進行數據分析》，有興趣學習可以讀- -讀。
最後，如果你跟我一樣都喜歡python，想成爲一名優秀的程序員，也在學習python的道路上奔跑，歡迎你加入python學習羣：839383765 羣內每天都會分享最新業內資料，分享python免費課程，共同交流學習，讓學習變（編）成（程）一種習慣！