原创 大數據技術之Flink電商用戶行爲分析系統(用戶畫像)

一、主流的批處理和流處理框架 Hadoop中的MapReduce只能做離線計算,也就是批處理,並且基於磁盤計算,屬於IO密集型,Shuffle階段需要大量算力,並且只有map和reduce。 Spark作爲一個微批處理的大數據

原创 Hadoop完全分佈式集羣搭建+Centos7配置連通外網和主機

文章目錄一、Hadoop是什麼二、Hadoop組成1、Hadoop1.x2、Hadoop2.x四、Hadoop集羣搭建所需工具(鏈接如下,自行下載)三、Hadoop集羣配置前期準備四、Hadoop運行環境搭建五、Hadoop完全分

原创 Python爬蟲之網易雲音樂歌曲歌詞爬取並保存到本地(詳解分析+代碼實現)

文章目錄一、項目介紹二、所需技術三、網頁分析1、分析首頁(一級)響應內容2、分析二級頁面響應內容3、分析三級頁面響應內容3、分析四級頁面響應內容四、分析小結五、代碼實現六、爬取結果(簡單四個示例,您想爬取多少都可以)六、總結七、我

原创 MySQL數據庫索引優化之索引失效的幾種情況(詳解+代碼展示)

文章目錄一、索引是什麼二、MySQL索引分類三、MySQL索引結構四、MySQL中創建索引的方法五、MySQL中索引的幾種級別(性能由好到壞)六、MySQL正確使用索引示例七、MySQL索引失效的幾種情況(應該避免)1、最佳左前綴

原创 Docker系統知識整理(從安裝到熟練操作)

文章目錄一、Docker基礎介紹1、我們爲什麼要使用Docker2、Docker是什麼3、Docker能幹什麼4、Docker的優勢二、Docker安裝1、前提說明2、具體安裝步驟3、測試至此安裝完畢!三、Docker常用命令四、

原创 Python爬蟲之bilibili視頻彈幕爬取並保存爲JSON格式(詳解分析+代碼實現)

文章目錄一、項目介紹二、所需技術三、網頁分析1、分析響應內容2、找到彈幕所在位置3、分析小結四、代碼實現五、爬取結果六、總結 一、項目介紹         今天我們的爬蟲內容是bilibili視頻彈幕爬取,並保存到本地爲JSON格

原创 超級詳細的Docker系統知識整理(從安裝到熟練操作)

文章目錄一、Docker基礎介紹1、我們爲什麼要使用Docker2、Docker是什麼3、Docker能幹什麼4、Docker的優勢二、Docker安裝1、前提說明2、具體安裝步驟3、測試至此安裝完畢!三、Docker常用命令四、

原创 數據結構之冒泡排序算法(圖解+分析+代碼調優)

1、冒泡排序的介紹         冒泡排序是一種比較簡單的排序算法,其基本思想是:通過對待排序序列從前向後(從下標較小的元素開始),依次比較相鄰元素的值,若發現逆序則交換,使值較大的元素逐漸從前移向後部,可以形象的理解爲像水底下