原创 (63)-- 爬取兄弟連網頁信息
# 爬取兄弟連網頁信息,包括詳細信息和圖片import requests from lxml import etree import json from urllib import request def getUrl():
原创 (66)-- 多進程爬取騰訊招聘信息
# 用多進程爬取騰訊招聘的文本信息from multiprocessing import Pool import requests from bs4 import BeautifulSoup import time base_url
原创 (62)-- 打包壓縮下載
# 打包壓縮下載import urllib from urllib import request import os def Schedule(a,b,c): ''' a:已下載數據塊 b:已下載數據塊大小
原创 (61)-- 用代理IP爬取網頁
# 用隨機代理IP簡單爬取網頁內容# download.py文件import random from urllib import request import json def getProxy(): with open('x
原创 (56)-- 應用程序接口(API)
應用程序接口編輯詞條API之主要目的是提供應用程序與開發人員以訪問一組例程的能力,而又無需訪問源碼,或理解內部工作機制的細節。提供API所定義的功能的軟件稱作此API的實現。API是一種接口,故而是一種抽象。應用程序接口(英語:Appli
原创 (54)-- 簡單模擬百度翻譯
# 簡單模擬百度翻譯from urllib import request,parse import json def trans(keyword): base_url = 'http://fanyi.baidu.com/sug'
原创 (60)-- 用程序改寫豆瓣會員簽名
# 用程序改寫自己豆瓣簽名from urllib import request,parse from http import cookiejar import re cookie = cookiejar.CookieJar() cook
原创 (57)-- 用正則簡單爬取圖片
# 用正則爬取單頁圖片from urllib import request import re base_url = 'https://tieba.baidu.com/p/5504076850' response = request.ur
原创 (65)-- 爬取58交友信息
# 二級爬取58交友的名字、年齡、身高、學歷、圖片信息,並把這些信息保存到數據庫中# 首先要在當前目錄下建立一個58文件夾,然後通過Navicat連接到數據庫# mydb.pyimport pymysql class Mydb:
原创 (59)-- 微信聊天小程序
# 與好友聊天小程序import itchat itchat.auto_login(hotReload=True) friends = itchat.get_friends() yourinput = input("請輸入好友暱稱: ")
原创 (70)--爬取哦漫畫圖片並下載到相應文件夾
# 爬取哦漫畫圖片並下載到相應文件夾from selenium import webdriver import time import requests from bs4 import BeautifulSoup import re fr
原创 (78)--用框架爬取招聘信息
(78)--用scrapy框架簡單爬取趕集網信息# main.pyfrom scrapy import cmdline cmdline.execute('scrapy crawl spider_ganji'.split()) # spi
原创 (55)-- 簡單爬取人人網個人首頁信息
# 簡單爬取人人網個人首頁信息from urllib import request base_url = 'http://www.renren.com/964943656' headers = { "Host" : "www.r
原创 (71)--爬取拉勾網招聘信息
# 爬取拉勾網招聘信息from selenium import webdriver import time from lxml import etree dc = { 'phantomjs.page.customHeaders.
原创 (64)-- 爬取58同城網頁信息
# 爬取58同城租房信息from lxml import etree import requests base_url = 'http://bj.58.com/chuzu/?utm_source=market&spm=b-3158002