原创 Scrapy爬取淘寶網數據的嘗試

因爲想學習數據庫,想要獲取較大量的數據,第一個想到的自然就是淘寶。。。。其中有大量的商品信息,淘寶網反爬措施還是比較多,特別是詳情頁面還有噁心的動態內容 該例子中使用Scrapy框架中的基礎爬蟲(CrawlSpider還有點沒搞清楚=

原创 C#實現貪喫蛇

先放程序包:下載鏈接 基本界面: 開始遊戲後: 規則: 1.紅色果實加一分,身長加一,移動速度增加一個單位 2.紫色果實加二分,身長加二,移動速度增加兩個單位 3.金色果實加三分,身長加二,移動速度增加三個單位 4.身體碰到自己或者

原创 利用Python解決將黃金比例計算至100位

這個問題有兩個解決思路: 一種是利用斐波拉契數列 相鄰兩個斐波拉契數列的比值就是黃金比例值 數字越靠後精確度越高 測試中到240位便可以將黃金比例計算精確到100位     def fibs(x,a=1,b=1):     if x i

原创 Python爬蟲獲取電影鏈接(續)

上一篇文章中的兩個網站都是用的是get方法,獲取很簡單並且沒有任何防爬手段,後面我再嘗試BT天堂,影視大全網發現更多的網站搜索頁面是post請求並需要提交表單, 所以這裏給之前的程序作出一些補充,使之可以爬蟲需要post請求的網站。 首

原创 STM32輸入捕獲加DMA傳輸的解決方案

在要求精度測量的情況下 進入中斷存儲數據的方式顯然會浪費很多的系統資源並造成精確度的確實,所以一般使用DMA進行數據傳輸 本程序中使用的是TIM2其配置如下: void TIM2_Cap_Init(u16 arr,u16 psc) {

原创 STM32空閒中斷+DMA解決接收不定長數據問題

串口的中斷類型: #define USART_IT_PE ((uint16_t)0x0028) #define USART_IT_TXE

原创 Scrapy的安裝附帶相關問題處理

Scrapy框架在製作網絡爬蟲中非常好用,這裏介紹一下其安裝過程以及相關問題 Scrapy官網 http:/scrapy.org Scrapy官網 下載whl文件,注意對應自己的系統以及python版本 說明一下 將whl文件解壓後是可以

原创 Python正則表達式

1.通配符 (.)匹配除換行符外所有的字符 2.特殊字符的轉義\ 例如:".com"此時會匹配acom,bcom..... 此時應該表達爲:"\.com" (雙斜線和單斜線  通過解釋器通過re模塊需要雙斜線) 3.字符集 ^爲反字符 '

原创 MongoDB的基本操作與在Python中的使用

按照之前的方法安裝成功後打開安裝目錄下的mongo.exe 界面如下 1.創建數據庫 輸入use 數據庫名 需要插入數據新的數據庫纔會被記錄 2.刪除數據庫 轉到要刪除的數據庫,再條用dropDatabase() 3.插入文檔

原创 插入排序和選擇排序的實現

1.插入排序             這種方法思路是有一個空數組每次按大小將數據插入進去(放到數組最後,或者與數組中成員交換位置之後成員都向後移動),到最後就可以得到一個按順序排列的數組,這裏用Python加以實現(降序排列) def s

原创 MongoDB的安裝與使用(Win7 64位)

第一步當然是進入MongoDB下載對應自己系統的安裝包 MongoDB官方 之後進行安裝,注意需要自定義安裝路徑請選擇costom否則默認安裝到C盤Program Files文件夾中 在安裝MongDB的磁盤根目錄下創建一個文件夾作爲數據

原创 Python多線程爬蟲獲取電影下載鏈接

一些電影資源網站往往廣告太多,不想看廣告所以做了這個程序 首先需要先分析網站的搜索鏈接,這裏只用到了“愛下電影網”和“電影天堂”兩個網站 愛下電影:http://www.aixia.cc/plus/search.php?searchtyp

原创 30天自制操作系統

自制操作系統前5天內容的總結 - Hello World輸出 ; hello-os ; TAB=4 ORG 0x7c00 ; ORG命令指令程序開始地址 JMP entry ;無條件跳轉到entry函數中

原创 python爬蟲登錄正方教務管理系統獲取成績數據

本程序以四川理工學院教務管理系統爲例。。。。 準備工作:1.ruquests庫的使用(或者urllib也可行)     2.正則表達式的書寫                     3.HTTP通信基礎                  

原创 Python網絡編程之帶select的異步IO

與之前的socket方式不同,select通過輪流詢問的方式監聽(讀取)客戶端 select也存在阻塞,會等待到三個描述符至少一個準備就緒. select函數參數爲三個列表 分別爲 r_list,w_list,e_list分別代表輸入,輸