原创 session和cookie的作用和原理,以及爬蟲中的應用

Part1 基礎定義 無狀態http協議: session:服務器端的狀態保持機制,需要想辦法在發送請求的時候攜帶sessionID。 cookies:客戶端的狀態保持機制,將信息存儲在本地,有被劫持的危險;數量和大小有限制。有些狀態

原创 python lxml xpath使用簡單彙總

1.xpath 的作用和優勢 將html解析未標籤樹,和Beautifulsoup一樣,會自動補全缺失的標籤。不同的是lxml是用c語言寫的,速度會更快。 2.xpath 使用方式 # 1.html.fromstring 不會自動補全缺

原创 sql臨時表的使用

創建方式、銷燬方式、使用方式、生命週期 不同數據庫的區別 創建方式: CREATE TEMP TABLE xw (short_id character varying,date_id bigint,rs integer) WITH (O

原创 萬事俱備之ORACLE_SQL 練手目錄和 part1

重點內容: 1.提供下載ORACLE SQL:經典查詢練手系列文章收尾(目錄篇) 2.純淨版 ORACLE_SQL練手 更多內容: ORACLE_SQL 練手 part2 ORACLE_SQL 練手 part3 ORACLE_

原创 python版本管理工具記錄

目的:減少各項目之間的包衝突 例外:在用sublimeText時應該不能識別虛擬環境(配合pycharm可以使用) 安裝:python3.6.1 pip install virtualenv pip install virtualenv

原创 爬蟲一般處理流程和反爬措施小結( 待續)

1.爬蟲啓動流程 確認可行路徑:無非就是app接口、不同的網頁接口(合作平臺、官方接口) 確認反爬措施:這一步是蠻重要的,可以爲接下來的步驟提供參考。 從經驗中比較容易的部分開始嘗試 確認規則可行:以目前的技術積累(技術層次)反反爬措施

原创 密碼編碼學初探——消息認證碼

消息認證 HMAC MAC:DAA CMAC 消息認證:用來驗證消息完整性的一種機制或者服務。消息仍正確保收到 的數據確實和發送時的一樣,且發送方聲稱的身份是有效的。 對稱密碼在那些互相共享密鑰的用戶間提供認證 消息認證碼:一種

原创 萬事俱備之ORACLE_SQL 練手 part5

更多參考和數據腳本下載: 1.萬事俱備之ORACLE_SQL 練手 part1 select * from regions; select * from countries; select * from locations; select

原创 密碼編碼學初探——分組密碼的工作模式

轉載自:分組密碼的工作模式  (來自維基百科) 密碼學中,塊密碼的工作模式允許使用同一個塊密碼密鑰對多於一塊的數據進行加密,並保證其安全性。[1][2] 塊密碼自身只能加密長度等於密碼塊長度的單塊數據,若要加密變長數據

原创 Jupyter notebook 搭建和使用

轉載自:Jupyter notebook 搭建和使用 Jupyter notebook 是什麼?歡迎學習本課程——如何使用 Jupyter notebook。Jupyter notebook 是一種 Web 應用,能讓用戶

原创 WireShark 應用

1.wireshark找不到捕獲接口問題的解決辦法 https://blog.csdn.net/yb0022/article/details/78436959?locationNum=8&fps=1

原创 sql distinct top

distinct 會作用在多個字段上,沒有辦法按一個字段去重,再取出其它的字段。 #使用disctinct獲取的內容 select * from t where x not in (select distinct x from t2) #

原创 ORACLE_SQL 練手 part4

更多參考和數據腳本下載: 1.萬事俱備之ORACLE_SQL 練手 part1 --用到的表 select * from regions; select * from countries; select * from locations;