原创 咸陽工商招標信息抓取
咸陽工商招標信息抓取 最近有個搞爬蟲的朋友讓我幫他看下咸陽工商招標信息是怎麼抓取的，一些參數他無法獲取。經過分析之後，發現搞爬蟲，思路是真的重要。 分析網站 網站url: http://www.xyjsgc.com/website
2020-07-07 13:34:59
原创 抓取大衆點評評論
最近抓取了大衆點評的評論，其中遇到了相當有趣的用圖片代替字體的反扒方法，給大家分享一下。 需求 抓取目的商鋪的評論及相關信息 分析網站 大衆點評的評論信息需要登錄後才能看到，登錄獲取其cookie，用以爬蟲模擬登錄 分析其評論詳情圖
2019-03-22 19:57:09
原创 supervisord的安裝及使用
centos下supervisord的安裝及使用supervisor的安裝生成配置文件修改配置文件supervisor的常用命令1、 啓動supervisor2、進入相關的命令操作centos6.6設置supervisor開機自啓 s
2018-12-23 23:46:40
原创 linux全離線安裝python環境
centos全離線安裝python教程 安裝前準備（線上安裝） 1、修改yum默認的刪除rpm 包，保存相關的rpm包 vim/etc/yum.conf [main] cachedir=/var/cache/yum keepcache
2018-11-20 08:56:40
原创 使用python實現微信自動回覆
使用python實現微信自動回覆 本文通過python實現微信自動回覆功能，完成智障版人工智能。 所需語言和模塊 python3.6 itchat 實現代碼 import itchat import re from itchat.c
2018-11-07 08:36:08
原创 vim解除ctrl+s假死機狀態
vim解除ctrl+s假死機狀態 用vim的時候，如果不小心按了ctrl+s，機器會進入假死機狀態，這時，可以使用ctrl+q，解除這種假死狀態。
2018-11-07 08:36:08
原创 極驗驗證--滑塊驗證
極驗驗證–滑塊驗證 本文通過通過模擬登錄極驗網站，完成滑塊驗證 所用語言和相關模塊 python3.6 selenium requests` PIL 極驗驗證碼特點分析 極驗驗證是一種在計算機領域用於區分自然人和機器人的，通過
2018-11-07 08:36:08
原创 抓取前程無憂招聘信息
抓取前程無憂招聘信息 本文通過分析前程無憂的相關規則，通過python來抓取相關的招聘信息，並通過redis緩存相關信息，實現增量抓取。 相關技術 python3.6 requests redis mysql 分析url構造 頁面
2018-11-07 08:36:08
原创 centos物理橋接配置
centos物理橋接配置 相信大家在搭建centos虛擬機的時候，都有遇到過網絡連接的問題，現在在這爲大家介紹下物理橋接的相關配置。 相關vmvare設置 打開相關的虛擬網絡編輯器 點擊網絡設置，配置vmnet0裏面的橋接模式，選
2018-11-07 08:36:07
原创 flask實現異步任務
flask實現異步任務 最近在開發同步mysql數據到redis的接口，因爲數據同步涉及各種增刪查改，如果用同步實現，可能回造成連接超時、堵塞，所以，使用python實現異步任務。 代碼實現 from flask import Fla
2018-11-07 08:36:07