原创 ElasticSearch 批量查詢

一、背景:       最近部門業務調整,開始寫一些後端接口,初次接觸項目時,瞭解項目後端語音使用的Python,數據庫使用的是es。 二、需求:       因爲是剛接觸這個項目,領導分了一個比較簡單的需求讓熟悉下項目,大致內容就是寫一

原创 Python學習筆記:創建字典的便捷方式

一,創建一個鍵對應多個值的字典問題:    我們在常見的數據格式中,字典的格式都是一個鍵對應一個值,如果我們想要一個鍵對應多個值,那麼我們該如何實現呢?解決方案:    如果我們想要一個鍵映射多個值,那麼我們需要將這多個值放到另外的容器中

原创 Python學習筆記:字典分組函數 itertools.groupby() 的用法

問題:假設我們有如下字典數據,我們想根據日期字段來進行分組並且迭代訪問,這時要怎麼做呢?解決方法:itertools.groupby()函數正好可以滿足我們的需求,我們首先按照對日期字段進行排序,然後調用itertools.groupby

原创 Python學習筆記:collections.Counter 類的用法

collections.Counter描述:計算序列中出現次數最多的元素示例:1,查找出現頻率最高的3個單詞2,查找某個單詞出的次數:

原创 網絡爬蟲的抓取策略:深度抓取策略、廣度優先遍歷策略、Partial PageRank策略、OCIP策略、大站優先策略

前言遍歷策略是爬蟲的核心問題,在爬蟲系統中,待抓取URL隊列是很重要的一部分。待抓取URL隊列中的URL以什麼樣的順序排列也是一個很重要的問題,因爲這涉及到先抓取那個頁面,後抓取哪個頁面而決定這些URL排列順序的方法,叫做抓取策略爬蟲策略

原创 騰訊雲 Centos7.4 安裝配置 redis 數據庫

一、安裝redis    1、設置redis的倉庫地址, 執行命令:yum install epel-release    出現下圖即設置成功    2、安裝redis       執行命令如下: yum install redis3、

原创 Python學習筆記:slice 切片函數

函數的作用:切片()  函數實現切片對象,主要用在切片操作函數裏的參數傳遞。函數的使用:截取下標2到3的元素。

原创 MySQL登錄 ERROR 1045 (28000) Access denied for user 'root'@'localhost' (using password NO)問題

一、問題今天在CentOS安裝了mysql,由於mysql剛剛安裝完的時候,mysql的root用戶的密碼默認是空的,所以我使用命令mysql -uroot或mysql登錄mysql,但是出現瞭如下錯誤:ERROR 1045(28000)

原创 Python學習筆記:對字典進行快速排序

 itemgetter函數:我們有一個字典列表,想根據某個字段進行排序,這時我們可以使用運算符模塊的itemgetter函數。舉例:1,我們想根據下面字典中的FNAME字段進行排序,這時我們可以這麼寫:2,itemgetter()函數也支

原创 CentOS 7 安裝 Docker 並修改Docker下載鏡像

一、安裝要求:Docker 運行在 CentOS 7 上,要求系統爲64位、系統內核版本爲 3.10 以上。通過 uname -r 命令查看你當前的內核版本:二、CentOS 7 下使用yum安裝docker:Docker 軟件包和依賴包

原创 騰訊雲 CentOS 7.4 安裝 Mysql

一、前言:CentOS 7 版本將MySQL數據庫軟件從默認的程序列表中移除,用MariaDB代替了,MariaDB數據庫管理系統是MySQL的一個分支,主要由開源社區在維護,採用GPL授權許可。開發這個分支的原因之一是:甲骨文公司收購了