原创 Django調用Scrapy爬蟲實現異步爬蟲（前端輸入爬蟲字段信息，後端執行爬蟲過程）
1. 首先我們修改爬蟲文件的init方法： 添加如下代碼： def __init__(self, keyWord=None, startTime=None, endTime=None, *args, **kwargs):
2020-05-21 17:05:56
1
原创 Scrapy實現微博關鍵詞爬蟲（爬蟲結果寫入mongodb）
爬取字段信息有： 關鍵詞 微博ID 微博內容信息 微博讚的個數 微博轉發個數 微博評論個數 轉發微博的轉發原因 微博日期 轉發源ID 原微博的贊個數 原微博的評論個數 原微博的轉發個數 存入數據庫的ID值（可忽略） spide
2020-05-21 17:05:56
原创 發佈Scrapy項目到scrapyd
1. 安裝scrapyd包文件 2. 啓動scrapyd cmd黑屏終端輸入scrapyd就可以啓動 2. scrapy.cfg裏修改以下內容 # Automatically created by: scrapy startpro
2020-05-21 17:05:56
原创 Scrapy實現爬取新浪微博用戶信息（爬蟲結果寫入mongodb）
爬取字段有： 微博ID 微博暱稱 性別 地區信息 認證信息 個性簽名 發表微博個數 粉絲個數 關注個數 spiders文件夾下microID_Spider.py這樣寫： # -*- coding: utf-8 -*- impo
2020-05-21 17:05:56
原创 創建Scrapy項目過程及各文件含義
廢話不多說，直接上步驟： 首先，要下載scrapy的包文件，下載好之後，win+R打開黑屏終端，輸入scrapy就可以查看版本信息，以及已經發布的scrapy項目的信息。 （注：如果已經在自己電腦上發佈了scrapy項目，黑屏終端
2020-05-21 17:05:56
原创 pycharm創建python文件自動加上# -*- coding: utf-8 -*-
步驟： 打開pycharm–>File–>Settings–>Editor–>File and Code Templates 然後選擇Python Script 輸入：# -*- coding: utf-8 -*- 勾選：Enab
2020-05-05 01:39:35
原创 Django結合paginator實現分頁
這段時間需要用Django框架做個前後端結合的項目 一想到需求中有分頁就特別頭疼。。。。 但是問了一下度娘，Django有個好兄弟叫paginator能夠特別方便的實現分頁 遂用之，真香！ 1. 需要的包 from django.
2020-02-27 22:24:13
原创 D3.JS繪製力拓撲圖（高亮顯示節點+圖例顯示+縮放+拖拽）
D3.JS繪製力拓撲圖（高亮顯示節點+圖例顯示+縮放+拖拽） 注：轉載請註明地址https://blog.csdn.net/qq_39360565/article/details/101171379 說明：本文描述所用到的數據是爲
2020-02-27 22:24:13
原创 MongoDB解壓版（zip）安裝步驟
這兩天做項目需要用到MongoDB數據庫，搞了一下 發現，好多博客寫的不明不白，好多坑。 還有好多配置config文件的，搞不懂爲什麼要這樣做，，，， 所以寫了以下內容，俺也不是太瞭解，能裝上，能正常用就行，所以寫了以下內容，這種
2020-02-27 22:24:13
原创 爬蟲程序中Xpath的使用
在爬蟲過程中有時要定位到某個標籤、某個輸入框等位置，需要在程序中捕捉到Xpath的信息 一般我們在寫程序的時候也會打開網頁一步一步查看細節 所以Xpath路徑也是很重要的，以下是快速獲取Xpath路徑的方法： F12進入查看網頁源
2020-02-27 22:24:13
原创 阿里雲ESC服務器（Ubuntu系統）部署Java Web項目（JDK+Tomcat+MySQL配置）
前幾天買了個阿里雲服務器 想着部署一下自己做的項目試試 感覺還可以。。。。。 以下是詳細步驟，還有過程中遇到的某些坑。。。（簡直氣死人。。） 購買服務器 第一步當然是購買服務器，24歲以下+學信網學生認證都可以買個不（hen）錯（
2020-02-27 22:24:13
原创 Django運行創建遷移文件報錯：TypeError: __init__() missing 1 required positional argument: 'on_delete'
使用的是Django2.0以上的版本，在添加實體外鍵的時候，2.0以前的版本是默認級聯刪除的 在2.0以上的版本要加上 models.ForeignKey(“表名”, on_delete=models.CASCADE) 之後再創建
2020-02-27 22:24:13
原创 Windows新建django文件
win+R打開命令行終端 cd 到指定目錄 django-admin startproject 項目名 cd 到該項目根目錄 python manage.py startapp APP名稱 在項目名同名的目
2020-02-27 22:24:13
原创 Maven修改本地庫及Maven在Myeclipse中的配置
Maven配置安裝 1.官網下載Maven 2.解壓縮到指定文件夾 3.配置環境 4.創建庫目錄 F:/Maven/Maven_Repository 5. 修改conf目錄下的settings.xml文件 <localReposi
2020-02-27 22:24:13