原创 Scrapy使用shell調試
使用shell嘗試爬取 $ scrapy shell https://www.zhipin.com/c101280100/ 2020-02-07 10:42:20 [scrapy.utils.log] INFO: Scrapy
2020-06-27 18:59:31
原创 Mac for mongodb的安裝以及可視化工具的使用
一、到Mongodb官網下載相應的安裝包 地址：https://www.mongodb.com/download-center?jmp=nav#community 點擊Server 選擇當前版本Version（4.2.5），OS
2020-06-27 18:59:31
原创 Python實戰演練之scrapy初體驗
最近一直在做網絡爬蟲的練習，現在對整個爬取過程做個總結。 配置： 電腦：MacBook Pro 系統：macOS Catalina 10.15.3 Python版本：3.8 Python IDE：PyCharm 數據庫：Mysql
2020-06-27 18:59:30
4
原创 Python實戰演練之跨頁爬取
上章回顧 上一章Python實戰演練之scrapy初體驗中講到了scrapy項目的創建，爬蟲的創建，以及數據的提取。 跨頁爬取如何實現 不過這些都是建立在單頁網頁數據的爬取之中，很多時候我們需要跨很多頁去爬取數據，這個時候該怎麼實
2020-06-27 18:59:30
1
原创 mongodb的配置文件的解析
port=27017 #端口 dbpath= /usr/mongodb/db #數據庫存文件存放目錄 logpath= /usr/mongodb/mongodb.log #日誌文件存放路徑 logappend=true #使
2020-06-27 18:59:29
原创 Python實戰演練之數據過濾
上章回顧 從上一章Python實戰演練之數據導出中最後導出的數據表中有None的存在，它們是免費課程，這不是我們所需要的內容，所以對其進行數據過濾，保證獲取數據的完整。 開啓EducsdnPipeline 在settings中開啓
2020-06-27 18:59:29
原创 Python實戰演練之數據導出
上章回顧 前兩章Python實戰演練之scrapy初體驗和Python實戰演練之跨頁爬取中講到了scrapy項目的創建，爬蟲的創建，數據的爬取以及跨頁爬取。 數據導出 通過shell命令爬取的數據往往需要我們存放在某處 例如：執行
2020-06-27 18:59:29
原创 Mac 終端提示 Permission denied ，彈窗”不能打開文件夾“data”，因爲您沒有權限查看其內容。“
想看看mysql下的data目錄裏的文件，終端提示 Permission denied ，訪達進去的話，data文件夾會有個紅色圖標標識，雙擊打開文件夾會彈窗提示：不能打開文件夾“data”，因爲您沒有權限查看其內容。 解決方式
2020-06-27 18:59:29
原创 MacOS中創建Scrapy項目
創建Scrapy項目 $ scrapy startproject ZhipinSpider New Scrapy project 'ZhipinSpider', using template directory '/Librar
2020-06-27 18:59:28
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建二十|RSS訂閱
文章目錄一、編寫訂閱功能二、配置路由三、前端四、效果教程目錄 什麼是RSS？可能很多人都沒用過也不知道是什麼。 推薦閱讀：什麼是RSS 一、編寫訂閱功能 blog -> blog->settings.py 添加 # 用於RSS S
2020-05-05 15:53:08
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建十七|Haystack 全文搜索
文章目錄一、前言二、安裝依賴包Whooshjieba三、Whoosh搜索引擎添加結巴分詞四、配置 Haystackhaystack設置參數ENGINEPATHBASE_PAGE_BYHAYSTACK_SIGNAL_PROCESSO
2020-05-05 15:53:08
1
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建十八|功能完善
文章目錄一、瀏覽量二、喜歡配置路由三、訪問路徑方法一方法二五、總結教程目錄 目前個人博客基礎功能基本實現。最後再對博客的一些細節進行完善一下即可，可能還有很多細節，就不一一處理了。 這裏準備處理三個重要的細節， 瀏覽量、 喜歡、
2020-05-05 15:53:08
1
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建十九|RESTful API接口
文章目錄一、安裝依賴包方法一：方法二二、註冊應用三、創建序列化類四、創建調用序列化數據的視圖創建視圖設置權限五、配置API路由六、數據展示頁面七、運行效果教程目錄 RESTful API現在很流行 推薦閱讀：理解RESTful架構
2020-05-05 15:53:08
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建二十一|天坑合集
文章目錄一、makemigrations的坑二、`django-haystack`全文檢索的坑1、`HAYSTACK`配置問題原因解決方法參考文章2、`six`模塊找不到原因解決方法參考文章3、`python_2_unicode_
2020-05-05 15:53:08
5
原创 Django3.0+Python3.8+MySQL8.0 個人博客搭建十五|評論區
文章目錄一、前言二、創建評論應用參考三、添加評論模型數據分析參考數據表信息變動四、分析評論區信息五、編寫視圖函數六、配置路由一級路由二級路由七、編寫自定義模板標籤八、編寫評論區 HTML九、添加評論功能十、效果圖十一、總結教程目錄
2020-05-04 03:07:10
1