原创 Python爬蟲快跑系列(二)async 爬取餓了麼商家信息和對應的評論,並且利用snownpl進行評論情感分析

1.背景: 最近在學協程異步python異步,想借此機會練習一下,而且網上用協程爬蟲的文章好像不也不多,所以藉此機會實驗一番。 2.站點分析: 爬取的是eleme的h5頁面,難度比較小,電腦端的需要登陸,而且是手機號碼接收驗證碼的

原创 Python爬蟲快跑系列(一)多線程生產者消費者模式爬取Agoda

1.背景: 熟悉多線程,熟悉作圖所用到的庫的api 代碼不難,直接看github源代碼吧 2.需求:### 爬取的字段好多,我就不寫出來了,直接放圖吧。。。 3.效果圖:### 4.github Thread_Agoda 如果

原创 爲什麼需要前後端分離?

今天我們來聊一聊一個有趣的話題:爲什麼需要前後端分離? 隨着app端、pad端的與日俱增,比如:django的開發模式,後端模板生成,但是這種方式一般只適用於pc端,那麼app、pad端空缺的,做起來是比較麻煩的,所以以往的開發模

原创 菜鳥也來學算法:從小白到入墳系列(不斷更新...)

博客教程:點我查看 算法目錄: 二分查找算法 選擇排序算法 遞歸 D&C策略 快速排序算法 廣度優先搜索算法 不斷更新… GitHub源碼:點我查看

原创 Git基礎教程:Git 與 遠程庫Github 的故事

請前往:Git基礎教程:Git 與 遠程庫Github 的故事查看

原创 Ubuntu 安裝 Python3.6

請點擊:Ubuntu 安裝 Python3.6

原创 MySQL從基礎到進階再到高級系列教程(不斷更新)

MySQL 從刪庫到跑路:安裝 MySQL 從刪庫到跑路:基礎篇(一) MySQL 從刪庫到跑路:數據類型 MySQL 從刪庫到跑路:日期函數 MySQL 從刪庫到跑路:基礎篇(二) MySQL 從刪庫到跑路之 進階篇(一) MySQ

原创 Python爬蟲 爬取instagram,破解js加密參數

請前往:Python爬蟲 爬取instagram,破解js加密參數

原创 大白話來說:Restful API 是幹啥的?

請前往:Restful API 是幹啥的?查看。

原创 Git 基礎教程:Git 與 本地庫交互

請前往:Git 基礎教程:Git 與 本地庫的故事查看

原创 導出自己項目安裝的Python包,並寫出txt文件

pip freeze > requirements.txt

原创 Ubuntu 從安裝到設置Redis、MongoDB開機啓動腳本的一條龍服務

Redis(安裝篇): 1.創建文件夾: mkdir /opt/download/ 2.下載解壓包: wget http://download.redis.io/releases/redis-4.0.11.tar.gz 3.解壓:

原创 使用Ubuntu 18.04.1安裝python之初體驗

1.安裝素材: vmware、ubuntu 18.04.1-desktop版本(安裝很簡單,但是好卡啊),教程網上很多,不明白的自己可以去百度~。重點說說幾個問題。 2.問題集合: 問題一:初次登陸是普通用戶登陸,要切換永久root用

原创 Python爬蟲scrapy系列(一)Bilibili分佈式爬蟲

一、背景: 爬取Bilibili用戶信息及其發佈過的視頻信息,並進行數據清洗、分析、可視化 二、爬蟲思路: 利用一個粉絲多的大v用戶作爲爆點,爬取用戶信息、視頻信息 三、數據去重問題: 利用用戶粉絲的思路去爬取用戶,必然會導致用戶數據