原创 創新實訓總結報告
1.分工 我在我們的創新實訓隊伍當中負責了知乎和頭條數據的爬取和整理，實現了給定一個關鍵詞從而查詢提供相關問題的內容，更新時間，評論內容，評論數目以及贊同數量等其它數據屬性的爬蟲，通過爬取的數據存放到mysql中，通過構建本地El
2020-06-30 13:06:46
原创 山東大學創新實訓2020/6/25
esmapping的創建與存儲 已經創建成功 連接遠程mysql使用logstash實現數據同步 四個表連接服務器的mysql 修改參數實現更新 導入數據成功 這邊可以直接搜索數據 比如特朗普
2020-06-30 12:15:12
原创 山東大學創新實訓2020/6/21
實現數據庫的初步寫入和查詢demo import time import pymysql import csv def get_time(): time_str = time.strftime("%Y{}%m{}%d{
2020-06-30 12:15:12
原创 山東大學創新實訓2020/6/18
實現Elastic上雲 本次主要實現elastic上雲，有兩種情況，一種是直接買阿里的雲es，一種是在ecs上配置elk環境，第二種，無非就是前面的再實現一遍。 廢話不多說，直接上阿里雲買個阿里雲Elasticsearch 買
2020-06-26 13:47:18
原创 山東大學創新實訓2020/6/15
ES配置 ES分詞器安裝 由於elasticsearch默認的分詞器是全文分詞，需要安裝ik分詞器。 進入到bin目錄中 ./bin/elasticsearch-plugin install https://github.com
2020-06-16 03:05:55
原创 山東大學創新實訓2020/6/13
ES安裝 進入ES官網 https://www.elastic.co/cn/downloads/elasticsearch 解壓運行（這個我用的是java8，我之前是7.6的版本沒問題，如果黃老闆有條件的話，最好還是要java1
2020-06-14 17:12:19
原创 山東大學創新實訓2020/6/8
山東大學項目實訓 使用爬蟲時會會遇到編碼錯誤 即使你在編碼時設置是utf-8 最好的解決辦法是修改 全部修改爲utf-8，問題解決 代碼直接上 class zhihuCrawler(): def __init__(s
2020-06-09 12:42:32
原创 山東大學創新實訓2020/6/5
山東大學項目實訓 本次實驗實現了對頭條數據的爬取，基本實現了給一個關鍵詞就能爬取新聞內容及評論 def get_json(self,query,times): print(times*20)
2020-06-09 12:42:32
原创 山東大學創新實訓2020/6/4
山東大學項目實訓 本次實驗主要是對知乎內容進行了爬取 特定topic進行爬取 import requests import json import jieba import sys from bs4 import Beautifu
2020-06-09 12:42:32
原创 山東大學創新實訓2020/6/7
山東大學項目實訓 今天完成了數據庫的寫入 主要使用了mysql數據庫 創建數據庫 再flak完成數據庫的接入 from crawler import toutiao import pymysql db = pymysql.co
2020-06-09 12:42:32
原创 山東大學創新實訓2020/6/6
山東大學項目實訓 今天主要做了 今天構建了項目的flask模板 頭條的項目接入 頭條爬蟲的一些小bug，當cookie過期是會提醒用戶cookie已不再管用 並且將文件自動保存在data下面的toutiao下 再次，當用戶調用
2020-06-09 12:42:32
原创 python 製作像素遊戲
import pyxel pyxel.init(160, 120) def update(): if pyxel.btnp(pyxel.KEY_Q): pyxel.quit() def draw():
2019-03-19 14:23:39
2
原创 java Eclipse快捷鍵
大多數快捷鍵在蘋果下對應Cmd鍵 在Windows對應ctrl鍵ctrl+l快捷修復;ctrl+D快捷刪除鍵;shift+ enter 換行;ctrl+F11快速執行項目;alt+方向鍵快速移動行;ctrl+alt+方向鍵 快速複製行;c
2018-09-06 01:28:40
原创 css行佈局
代碼<!DOCTYPE html><html lang="en"><head> <meta charset="utf-8"> <title>0</title> <style type="text/css"> body{margin: 0
2018-09-06 01:28:39
原创 .conf文件如何打開
對於.conf文件如何打開比如修改端口問題像svn佔據了mysql的3306端口修改XAMPP Control Panel中的端口問題可以使用ultraedit此軟件百度即可下載我要分享的是keygen
2018-09-06 01:28:38