新浪微博PC端登錄分析

本來給自己定了個2018的目標,平均每月寫兩篇文章,現在已經快三月了,第一篇稿子才憋出來,慚愧呀,直入主題吧,今天給大家帶來的是新浪微博PC端的模擬登陸。

工具

這次使用的工具是Charles和chrome瀏覽器,看過我之前文章的同學應該知道我使用的Mac電腦,Fiddler不能用,之前用虛擬機很麻煩。很早的時候有裝過Charles,但是不太會用,後來發現一篇比較詳細的文章,忘了記錄了。發現Charles還是非常好用的,而且有個很好的功能,就是可以開啓多個Session進行抓取對比,這個功能非常?,如果經常做爬蟲調試的人一定能知道。我們抓取一個網站的登錄過程,然後在模擬的過程中,可以再另一個session中抓取自己模擬登錄的過程,然後對比一下自己的請求發送的數據和瀏覽器請求發送的數據是否一致。之前我調試一直都是通過打印查看,這樣一方面很不方便,另外一方面打印也不完整。所以非常推薦大家使用Charles,網上破解也有很多。Charles

打開Charles,要開啓SSL代理抓取,這樣才能抓取到HTTPS請求,畢竟現在很多網站都已經使用HTTPS請求了
HTTPS抓取設置
Host填*表示匹配所有網址,HTTP請求端口是80端口,HTTPS請求端口是443端口,設置好就可以開始抓取了。

抓取請求

打開chrome瀏覽器,最好清理緩存,然後使用隱身模式訪問https://weibo.com/
打開隱身窗口
無痕模式
在網頁上執行一遍登錄操作
微博登錄過程
抓取到登錄過程後,我們就可以開始分析了,記住一定要清理緩存。我有好幾次抓取都不一樣,後來換了Safari瀏覽器(因爲我很少用這個),其實這一步用什麼瀏覽器都無所謂,chrome瀏覽器主要是用來調試JS用的。

過程分析

查找登錄請求

登錄一般url裏面應該都會有login,而且是post請求,當然不排除其他方式。
https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)登錄請求url

找到登錄請求後,這裏主要關注Form表單信息,參數很多,我們需要先大概區分一下哪些可能是固定參數,哪些是變化的參數。
參數確定
一目瞭然可以看到那些是固定的了吧,這些所有的參數其實我們都是可以追根溯源的,但是沒那個必要,在這種參數比較多的情況下,太費事了,可以採用多次抓取登錄過程,對比請求參數的方式確定部分固定的或者不重要的參數,那麼需要我們通過其他方式獲取的參數有pcid、door、su、servertime、nonce、rsakv、sp、prelt,這裏servertime比較有爭議,一般看到這種time或者151開頭的10位或者13位數字,都是時間戳,用time.time()獲取就可以,但是這裏是servertime,我們應該引起注意。

參數分析

下面我們一一來看這幾個參數怎麼獲取
- su
我們要先說一下這個su,因爲其他的參數都和它有關係。這個su在js調試的時候可以看到它的算法,但是其實我們可以根據它的特點先猜測一下,有可能是base64加密的。爲什麼?

  Base64是一種基於64個可打印字符來表示二進制數據的方法,哪64個字符呢?            
  A-Z、a-z、0-9和"+"、"/",很多時候base64加密的字符串尾部爲 1個或2個  "=",
  因爲它是把3個字節的二進制拼接,如果最後剩下一個,那麼尾部就會添加2個=,
  如果剩下兩個,尾部就添加1個=,如果剛合適那當然就沒有=了

推薦一個工具網站https://tool.lu/encdec/
image.png
使用編解碼試試看,最終我發現是賬號,而且是採用了url encode和base64編碼,所有最終我們的su就是image.png

  • pcid、servertime、nonce、rsakv
    它的值時gz-48fb749c5c715e0d5caeed045716492e153c,我們先在Charles中搜索一下pcid
    我們一般都是搜索response的數據,主要是看一下是不是在某一個請求的返回值裏面,這裏非常棒,我們找到了pcid和值出現的地方=1518956150179”>https://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=MTgwOTE3MzQxMzY%3D&rsakt=mod&checkpin=1&client=ssologin.js(v1.4.19)&=1518956150179,在這個請求的返回值裏面,而且我們還有意外的收穫,我們得到了四個參數,和登錄請求裏面的一樣,?我們現在確定了四個參數的來源,
    image.png
    看一下請求的參數
    image.png
    除了su和下面的時間戳其他的參數基本固定,時間戳沒什麼特點,我們就用int(time.time() * 1000)生成,因爲是13位的。su我們上面已經知道了。那麼這四個參數也搞定了✌️
  • door
    door很熟悉吧,是驗證碼。那麼驗證碼的請求怎麼確定,非常簡單因爲我們的驗證碼是一張圖片,所以找圖片請求就可以了
    驗證碼
    這個往上翻一翻就能很快找到,找到後我們看看它的參數參數
    p的值就是pcid的值,我們已經知道了。r有點不太好找了,先在Charles裏搜一下62026273,沒找到,那麼應該就是本地生成的,其實你可以寫死試試,有沒有問題。除了搜這個值以外,我們還可以搜一下這個請求是在哪裏生成的,看它附近有沒有有用的數據。
    image.png
    搜一部分就行了,先用小部分搜,如果結果太多,在多加一些搜索,這裏我們找到了一條,點擊去看一看,點到JavaScript那個頁籤,Charles會幫我們格式化jsimage.png
    找到了pincodeUrl,再搜索一下pincodeUrlimage.png
    看到沒有,開不開心?激不激動?
    驗證碼請求
  • prelt
    這個參數和驗證碼請求的那個r參數類似,值搜不到,但是我們可以搜這個prelt,你問r那個爲啥不搜?[鄙視眼]你猜猜能搜到多少?image.png
    同樣點進去,切換到JavaScript頁籤,發現了preloginTime,再搜它吧

    image.png
    多搜一些你就發現它應該是個時間段,結合prelt本身的值,我們就可以構造出一個值。可以通過多次請求來確定一個範圍,另外時間差,而且它用的是本地的時間計算的,那麼也不需要多麼精確,確定一個範圍應該就可以了,所以在一個範圍內取隨機數就行了
    -sp
    最麻煩的來了,sp這麼長一段,觀察其特點,發現應該是16進制,所有字符都是在0-9、a-f之間,而且參數pwencode的值rsa2,基本上我們就可以確定其採用的是rsa加密算法。這串字符肯定是搜索不到的,可以搜sp,刪掉明顯不是的,我們一般看的是sp=xx這樣的,就是看賦值,從賦值的操作上下文去查看
    image.png
    經過過濾分析,只剩下兩個地方https://passport.weibo.com/visitor/visitor?entry=miniblog&a=enter&url=https%3A%2F%2Fweibo.com%2F&domain=.weibo.com&ua=php-sso_sdk_client-0.6.23&_rand=1518956141.4946https://js1.t.sinajs.cn/t5/register/js/v6/pl/register/loginBox/index.js?version=d7a77880fa9c5f84
    image.png
    然後打開chrome瀏覽器,開發者工具,然後訪問https://weibo.com,切換到source頁籤找到這兩個js文件,並搜索sp,通過觀察特點基本確認爲第二個js文件
    image.png
    e.sp = b,在b的計算之前打上斷點,然後執行登錄操作,這裏我們還發現了su的計算算法,跟我們上面分析的基本一致image.png
    通過調試這段代碼我們就得到了其加密方式,這裏有幾個變量me.rsaPubkey、me.servertime、me.nonce、b,通過console中查看b是密碼,然後就是這pubkeyimage.png
    在上面pcid參數的請求的返回值裏面我們看到有這個值。OK這幾個變量我們都知道了,下面你瞭解一下rsa加密算法的python實現,直接貼代碼image.png

執行登錄請求

登錄請求的所有參數都已經分析完了,登錄後查看response數據image.png
然後再看一下登錄請求的下一個請求,發現是通過登錄請求的返回值中的url,然後發送此請求
image.png
返回值中又出現了另外一個url,我們在下面也找到了,提取url發送請求
image.png
看到返回狀態了嗎?302重定向。發送請求以後查看一下response的url,發現是在它下面的請求地址


返回值和下面的請求好像有點關聯,有下一個請求的參數。別急,先等等,我們就這樣一直請求、提取請求、再請求,得有個終點吧,到哪裏算一站呢。我們想想登錄以後,顯示一個頁面有用戶名。我們只要能得到這個用戶名那就說明登錄成功了。image.png
這裏看到了這個home請求中出現了我的用戶暱稱,然後上面那個請求的返回狀態302,又是重定向。使用上面的方式確認一下。提取userdomain,然後拼接https://weibo.com/
image.png
成功了image.png

這一次寫這篇博文就順暢多了,還是知識積累的問題。後面還有一篇百度登錄分析的,發現百度這個確實是很複雜,目前還沒搞定。盡請期待哦


如果你覺得我的文章還可以,可以關注我的微信公衆號,查看更多實戰文章:Python爬蟲實戰之路
也可以掃描下面二維碼,添加我的微信公衆號

公衆號

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章