在過去的6年裏，本文的作者一直在關注Data Eng Weekly（前身是Hadoop Weekly），它是與大數據和數據工程相關內容的重要來源，涵蓋了非常廣泛的技術文章、產品公告和行業新聞。
今年，作者打算將分析Data Eng的歸檔內容（這些歸檔可追溯到2013年1月）作爲其個人項目，來析過去6年中的大數據的趨勢和變化。
爲此，作者抓取並清理了290多期內容（使用了Python爬蟲），保留了與技術、新聞和發佈公告相關的文章片段。接下來，他對文章片段進行了一些基本的自然語言處理並應用了一些基本的過濾，最後生成關鍵字和下下列表。
過去七年的主要趨勢
作者繪製了特定關鍵詞被提及次數的月滾動平均值，並將它們繪製在同一個圖表上。下面的圖表說明了這些技術大約在什麼時間點變得越來越流行。
Hadoop與Spark
從2013年Spark開始接管Hadoop的那一刻起，Hadoop就開始穩步下滑。
Hadoop與Kafka
Kafka成爲所有大數據技術棧的主要構建塊。
Hadoop與Kubernetes
Kubernestes的崛起，儘管Data Eng Weekly並不十分關注DevOps，但卻也見證了從2017年開始圍繞Kubernetes在各個領域的全面炒作。
年度熱門關鍵詞
我只是簡單地畫出在給定年份中被提及次數最多的10個關鍵詞。
2013年：Hadoop的黃金時期！
所有原始的Hadoop項目都在這裏：HDFS、YARN、MR、PIG……以及兩大主流發行版CDH和HDP，除此之外別無其他！
2014年：Spark的崛起！
Hadoop總體上延續了它的統治地位，但Spark在這一年推出的第一個版本成爲2014年最熱門的話題！
2015年：Kafka來了！
Spark取代Hadoop的一名位的置，Kafka進入前三。大多數舊項目（HDFS、YARN、MR、PIG……）都沒有進入前十。
2016年：流式處理火熱！
2016年是流式處理年，Kafka取代了Hadoop第二名的位置，Spark（流式處理）繼續佔據主導地位。
2017：一切向流式處理看齊！
與2016年的陣容相同，只是加入了Flink。
2018年：回到基礎！
Kubernetes首次亮相，我們回到了基礎，試圖找出如何管理（K8S）、調度（airflow）和運行（Spark、Kafka、存儲……）我們的流。
2019年：…
現在對2019年給出任何結論還爲時過早，但看起來K8s將在2019年成爲主流！
英文原文：