原创 數據的祕密1——瞭解數據與算法的含義

個人認爲數據是世間萬物的基礎,是分析和說明事物本質的快速途徑。理論上講,世間萬物都可以用數據表達。通過分析數據之間的關係和意義能夠一定程度上的解釋已知和未知的理論,換句話說:可以跳出事件解析事件。隨着掌握的數據量越來越多,對於事物的認知越

原创 python原生爬蟲+scrapy+redis分佈式

數據獲取途徑注意:robots.txt1、瀏覽器版Chrome2、手機版Chrome3、合作網站(豬隊友網站)、子網站   請求方式requests.get(url,headers = headers,verify=False,proxi

原创 docker使用(Centos系統)

Centos系統:docker 部署 安裝 yum -y install docker 列出鏡像 docker images yum list installed | grep docker 查看啓動狀態 status docker sy

原创 Python3 創建虛擬環境

Python3 創建虛擬環境          第一步: 安裝vitrualenvpip3 install vitrualenv   安裝vitrualenvwhereis vitrualenv   查看v