python爬取知網論文信息

用Python爬取指望關於某個主題的所有論文摘要等信息。

很幸運的找到了一個大佬的代碼來自己改改改！
先放大佬代碼連接
Git
接下來就是我自己嚯嚯嚯改的，很小白的了。。。
應該是很詳細得了
爲了看懂這個代碼，
我先看了另外一個大佬的比較一點簡單代碼，
爬取知網統計數據，並下載文獻
然後學了一些關於正則匹配的（入門篇和中級篇）
正則匹配入門篇
我感覺把正則匹配學一些，然後稍微能看得懂一點的網頁源碼，就可以了。
打開網頁——分析其源碼————URL（找到每頁不同的部分）——找到你需要爬去的地方——合適的正則匹配

#爬取知網論文作者，關鍵字，和摘要等信息，並保存在Excel裏
import requests  # 導入requests 模塊
import re
from urllib import request
import random
import time
import xlrd
from xlrd import open_workbook
from xlutils.copy import copy


class BeautifulPicture():
    def get_pic(self):
        data = xlrd.open_workbook(r'C:\\flim\library_my\new.xls')  # 打開xls文件，自己新建這個文件在運行路徑，不然不行的哦
        table = data.sheets()[0]  # 打開第一張表
        table2 = data.sheets()[1]  # 打開第一張表
        i = table.nrows #上一次爬到的表1的行數
        i1 = 0
        i2 = table2.nrows #上一次爬到的表2的行數
        told = 0

        rb = open_workbook(r'C:\\flim\library_my\new.xls','utf-8')
        wb = copy(rb) # 將上一次爬到的複製到新表裏，並在新表裏繼續添加紀錄
        # 通過get_sheet()獲取的sheet有write()方法
        ws = wb.get_sheet(0)
        ws1 = wb.get_sheet(1)
        p = 1  # 這裏是頁數
        for num in range(p, p + 100):
            # 這裏的num是頁碼

            web_url ='http://kns.cnki.net/kns/brief/brief.aspx?curpage=%s&Reco' \
                     'rdsPerPage=50&QueryID=8&ID=&turnpage=1&tpagemode=L&dbPref' \
                     'ix=SCDB&Fields=&DisplayMode=listmode&PageName=ASP.brief_' \
                     'default_result_aspx#J_ORDER&' % num #這裏的URL實現了二次加載
            print('搜素頁的URL=',web_url)





            # 這裏開始是時間控制
            t = int(time.clock())
            print(t / 60, '分鐘')
            useTime = t - told
            # 如果一個週期的時間使用太短，則等待一段時間
            # 主要用於防止被禁
            if (useTime < 120 and useTime > 10):
                print("useTime=%s" % useTime)
                whiteTime = 120 - useTime
                print("等待%s秒" % whiteTime)
                time.sleep(whiteTime)
            told = int(time.clock())
            print(t)

            print('開始網頁get請求')
            r = self.request(web_url)  #



            # 這裏是報錯的解釋，能知道到底是因爲什麼不能繼續爬了
            # 一開始會看爬到的源代碼，但是之後正式開始爬的時候，打印頁面源代碼會拉低爬蟲效率
            yan = re.search(r'參數錯誤', r.text)
            if yan != None:
                print("參數")
                break
            yan = re.search(r'驗證碼', r.text)
            if yan != None:
                print("驗證")
                break

            #這裏開始抓列表裏每一個文獻的url
            soup = re.findall(r'<TR([.$\s\S]*?)</TR>', r.text)
            #print(soup)#測試打印
            for a in soup:
                print("-", i1)
                #print(a)#測試代碼
                i1 += 1
                name = re.search(r'_blank.*<', a)
                #print('初次取的=',name)#測試代碼
                name = name.group()[8:-1]
                #print('第二次=',name)#測試代碼
                name = re.sub(r'<font class=Mark>', '', name)
                #print('第三次=', name)  # 測試代碼
                name = re.sub(r'</font>', '', name)
                #print('第四次=', name)  # 測試代碼

                url = re.search(r'href=.*? ', a)#將’‘看做一個子表達式，惰性匹配一次就可以了
                url = url.group()
                #print('爬取的詳情頁的URL=',url)#測試代碼

                # 將爬來的相對地址，補充爲絕對地址
                url = "http://kns.cnki.net/KCMS/" + url[11:-2]#數字是自己數的。。。
                #print("url:%s" % url) # 這裏是寫代碼時測試留下的print記錄

                #下面是參考文獻詳情的URL
                FN = re.search(r'FileName.*?&', url)#.group()#出現錯誤 沒有匹配！！！
                if FN !=None:#測試代碼
                    FN = re.search(r'FileName.*?&', url).group()

                #print(FN)#測試代碼
                DN = re.search(r'DbName.*?&', url)#.group()
                if DN !=None:#測試代碼
                    DN=re.search(r'DbName.*?&', url).group()

                #print(DN) #測試代碼
                DC = re.search(r'DbCode.*?&', url).group()
                DUrl = "http://kns.cnki.net/KCMS/detail/frame/list.aspx?%s%s%sRefType=1" % (FN, DN, DC)
                #print('DUrl=',DUrl)#測試代碼
                # 這裏打開文獻詳情頁
                R = self.request(DUrl)

                #如果沒有參考文獻，則認爲是劣質文獻，不爬，轉爬下一篇
                isR = re.search(r'參考文獻', R.text)
                if i1 == 1:
                    print("沒有參考文獻的文章:%s" % name)
                if isR == None:
                    continue

                # 詳情頁
                print(i)
                print("文章名字:%s" % name)
                d = self.request(url).text
                #print('d=',d)#測試代碼

                # 這裏是文獻摘要，自己寫的！！！我拷
                summary = re.search(r'(?<=name="ChDivSummary">).+?(?=</span>)', d)
                summary=summary.group()
                #print('摘要=',summary)


                type = re.search(r'"\).html\(".*?"', d)
                type = type.group()[9:-1]
                ins = re.search(r'TurnPageToKnet\(\'in\',\'.*?\'', d)
                if ins == None:
                    continue
                ins = ins.group()[21:-1]
                wt = re.findall(r'TurnPageToKnet\(\'au\',\'.*?\'', d)
                writer = ""
                for w in wt:
                    writer = writer + "," + w[21:-1]
                writer = writer[1:]
                ws.write(i, 0, name)    #文獻名
                ws.write(i, 1, writer)  #作者名
                ws.write(i, 2, type)    #文獻類別
                ws.write(i, 15, num)    #列表的頁碼
                ws.write(i, 3, summary)  # 摘要
                ws.write(i, 16, time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))) #記錄的時間

                # 這裏是文獻的關鍵詞，最多可以記錄8個關鍵詞
                kw = re.findall(r'TurnPageToKnet\(\'kw\',\'.*?\'', d)
                tnum = 0
                for tkw in kw:
                    tnum += 1
                    tkw = tkw[21:-1]
                    if tnum > 8:
                        break
                    ws.write(i, 3 + tnum, tkw)




                 # 這裏是文獻的來源基金
                fund = re.search(r'TurnPageToKnet\(\'fu\',\'.*?\'', d)
                if fund != None:
                    fund = fund.group()[21:-1]
                    ws.write(i, 11, fund)

                # 分類號
                cn = re.search(r'ZTCLS.*?</p', d)
                if cn != None:
                    cn = cn.group()[19:-3]
                    ws.write(i, 12, cn)

                # 這是機構
                jg = re.search(r'TurnPageToKnet\(\'in\',\'.*?\'', d)
                if jg != None:
                    jg = jg.group()[21:-1]
                    #print(jg)
                    ws.write(i, 17, jg)
                # 是否爲核心期刊
                sourinfo = re.search(r'sourinfo([.$\s\S]*?)</div', d)
                if sourinfo != None:
                    sourinfo = sourinfo.group()
                    # print(sourinfo)
                    from_ = re.search(r'title.*</a', sourinfo).group()
                    from_ = re.sub(r'title">.*?>', '', from_)
                    from_ = re.sub(r'</a', '', from_)
                    ws.write(i, 13, from_)
                    core = re.search(r'中文核心期刊', sourinfo)
                    if core != None:
                        print(core.group())
                        ws.write(i, 14, "中文核心期刊")

                 # ws.write(i, 0, a)
                i += 1 # 增加頁碼的計數

        wb.save('new.xls') # 保存表格*******有改變 有問題

    def request(self, url):  # 返回網頁的response

        # print(url)
        # 這裏是僞造瀏覽器信息，和僞造來源
        user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch' \
                     'rome/58.0.3029.81 Safari/537.36'
        referer = "http://kns.cnki.net/kns/brief/result.aspx"

        # 這裏是僞造cookie，你要從瀏覽器裏複製出來，粘貼在這裏
        # 可以把裏面的時間不斷更新，這樣能爬久一點
        cookie = 'cnkiUserKey=e0b40271-cdc0-fd83-36fa-9d4c5f8f2a86; RsPerPage=5' \
                 '0; KNS_DisplayModel=custommode@CJFQ; UM_distinctid=161275ba757a' \
                 '16-0ed232d4ab2da2-6010107f-15f900-161275ba75895e; Ecp_Cli' \
                 'entId=3170915092701569567; ASP.NET_SessionId=3dnqvlsxovsla4' \
                 'ywvr2ykp4c; SID_kns=123106; SID_crrs=125131; SID_klogin=12514' \
                 '3; SID_krsnew=125132; SID_kcms=124113; SID_knsdelivery=125124;' \
                 ' CNZZDATA3258975=cnzz_eid%3D995934993-1516843818-http%253A%252' \
                 'F%252Fkns.cnki.net%252F%26ntime%3D1517383256; Ecp_session=1; ' \
                 'c_m_LinID=LinID=WEEvREcwSlJHSldRa1FhdkJkVWI2VUJNODFzUHlUaC9LN' \
                 'XZrUDkrcXhYbz0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoU' \
                 'KaID8j8gFw!!&ot=02/01/2018 18:13:09; LID=WEEvREcwSlJHSldRa1F' \
                 'hdkJkVWI2VUJNODFzUHlUaC9LNXZrUDkrcXhYbz0=$9A4hF_YAuvQ5obgVAqN' \
                 'KPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw!!; c_m_expire=2018-02-01 ' \
                 '18:13:09; Ecp_LoginStuts=%7B%22IsAutoLogin%22%3Afalse%2C%22U' \
                 'serName%22%3A%22KT1008%22%2C%22ShowName%22%3A%22%25E8%25A5%2' \
                 '5BF%25E5%258D%2597%25E7%259F%25B3%25E6%25B2%25B9%25E5%25A4%' \
                 '25A7%25E5%25AD%25A6%22%2C%22UserType%22%3A%22bk%22%2C%22r%2' \
                 '2%3A%22RrMW7A%22%7D'

        headers = {'User-Agent': user_agent,
                   "Referer": referer,
                   "cookie": cookie}
        r = requests.get(url, headers=headers, timeout=30)
        return r


print(time.clock())
beauty = BeautifulPicture()  # 創建類的實例
beauty.get_pic()  # 執行類中的方法

#最後是爬取的信息存在Excel裏面。。。
後續有空再更新更新吧，，，，
--------------------- 
作者：tinnarey 
來源：CSDN 
原文：https://blog.csdn.net/qq_28725953/article/details/79232655 
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！

---

作者：tinnarey
來源：CSDN
原文：https://blog.csdn.net/qq_28725953/article/details/79232655
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！