在過去的 6 年裏，本文的作者一直在關注 Data Eng Weekly(前身是 Hadoop Weekly)，它是與大數據和數據工程相關內容的重要來源，涵蓋了非常廣泛的技術文章、產品公告和行業新聞。
今年，作者打算將分析 Data Eng 的歸檔內容(這些歸檔可追溯到 2013 年 1 月)作爲其個人項目，來析過去 6 年中的大數據的趨勢和變化。
爲此，作者抓取並清理了 290 多期內容(使用了 Python 爬蟲)，保留了與技術、新聞和發佈公告相關的文章片段。接下來，他對文章片段進行了一些基本的自然語言處理並應用了一些基本的過濾，最後生成關鍵字和下下列表。
過去七年的主要趨勢作者繪製了特定關鍵詞被提及次數的月滾動平均值，並將它們繪製在同一個圖表上。下面的圖表說明了這些技術大約在什麼時間點變得越來越流行。
Hadoop 與 Spark
從 2013 年 Spark 開始接管 Hadoop 的那一刻起，Hadoop 就開始穩步下滑。
Hadoop 與 Kafka
Kafka 成爲所有大數據技術棧的主要構建塊。
Hadoop 與 Kubernetes
Kubernestes 的崛起，儘管 Data Eng Weekly 並不十分關注 DevOps，但卻也見證了從 2017 年開始圍繞 Kubernetes 在各個領域的全面炒作。
年度熱門關鍵詞我只是簡單地畫出在給定年份中被提及次數最多的 10 個關鍵詞。
2013 年：Hadoop 的黃金時期!
所有原始的 Hadoop 項目都在這裏：HDFS、YARN、MR、PIG……以及兩大主流發行版 CDH 和 HDP，除此之外別無其他!
2014 年：Spark 的崛起!
Hadoop 總體上延續了它的統治地位，但 Spark 在這一年推出的第一個版本成爲 2014 年最熱門的話題!
2015 年：Kafka 來了!
Spark 取代 Hadoop 的一名位的置，Kafka 進入前三。大多數舊項目(HDFS、YARN、MR、PIG……)都沒有進入前十。
2016 年：流式處理火熱!
2016 年是流式處理年，Kafka 取代了 Hadoop 第二名的位置，Spark(流式處理)繼續佔據主導地位。
2017：一切向流式處理看齊!
與 2016 年的陣容相同，只是加入了 Flink。
2018 年：回到基礎!
Kubernetes 首次亮相，我們回到了基礎，試圖找出如何管理(K8S)、調度(airflow)和運行(Spark、Kafka、存儲……)我們的流。
2019 年：…
鄭州×××醫院 http://yyk.familydoctor.com.cn/21523/
現在對 2019 年給出任何結論還爲時過早，但看起來 K8s 將在 2019 年成爲主流!