乾貨滿滿,騰訊雲+社區技術沙龍 Kafka Meetup 深圳站圓滿結束 頂 原

雲加社區技術沙龍

發表於騰訊雲技術沙龍訂閱

56

乾貨滿滿,騰訊雲+社區技術沙龍 Kafka Meetup 深圳站圓滿結束

雲+導語:4月22日,由騰訊雲和 Kafka 社區主辦、開源中國協辦的騰訊雲+社區技術沙龍 Kafka Meetup 深圳站在騰訊大廈舉行,本次活動全程乾貨滿滿,不僅有 Kafka 的前世今生及展望,也有對 Kafka 技術架構的深入解析,同時還有基於 Kafka 的應用平臺的相關開發與運維實踐。活動異常火爆,現場近三百人蔘與交流,不少參會者表示活動質量很高,不虛此行。

現場聽衆

Apache Kafka 的過去、現在和未來

2010年,LinkedIn 着手開發 Kafka,到2011年 Kafka 進入 Apache 孵化器,成爲世界頂級開源項目,並迅速被各種企業採用。據分析,目前已經有超過70%的世界500強公司在使用 Kafka。Kafka 主要作者、項目委員會主席及 Confluent 聯合創始人饒軍首先爲大家帶來了《Apache Kafka 的過去、現在和未來》的分享,介紹了 Kafka 這一路的各個關鍵節點及展望。他認爲“Kafka 未來不僅僅是一個實時數據收集和傳輸系統,隨着接下來的發展,它更偏向於成爲一個實時數據流處理、交換和共享的平臺。”

饒軍:Apache Kafka 的過去、現在和未來

Kafka 集羣自動化運營實踐

騰訊基礎架構部高級工程師楊原分享了《Kafka 集羣自動化運營實踐》,他介紹了騰訊雲 CKafka 系統在自動化運營時,需要面對的大規模 Kafka 集羣故障節點移除、新節點加入、節點間數據傾斜、用戶所需 Kafka 實例動態升降配與 Borker 資源利用率不均衡等問題,同時也給出了騰訊的相應解決方案。

楊原:Kafka 集羣自動化運營實踐

知乎基於 Kubernetes 的 Kafka 平臺的設計和實現

下一位分享嘉賓白瑜慶是來自知乎技術中臺的負責人,他帶來的是《知乎基於 Kubernetes 的 Kafka 平臺的設計和實現》,分享了 Kafka 在知乎的應用,以及爲何要基於 K8S 做 Kafka 平臺,具體是如何去做這樣一個平臺的。據白瑜慶介紹,知乎在日誌、數據傳輸與消息隊列服務中應用了 Kafka,Kafka 已成了知乎技術平臺中的重要組件,目前已經平穩運行了2年。

白瑜慶:知乎基於 Kubernetes 的 Kafka 平臺的設計和實現

隨後茶歇環節,參會者圍繞着分享嘉賓紛紛提問,現場氣氛活躍,技術氛圍濃厚。

茶歇提問

CKafka 在人臉識別 PaaS 中的應用

回到下半場分享,首先是格靈深瞳深瞳雲數據流研發負責人陳新宇帶來《CKafka 在人臉識別 PaaS 中的應用》。格靈深瞳的大規模圖片人臉識別服務使用了經過騰訊雲優化的 CKafka,應用在業務數據導入、緩存、輸出以及監控與日誌收集等各個環節,連接了各個數據處理模塊,爲實時的人臉特徵提取、比對及分析提供了保障,是圖片流實時人臉識別平臺的核心。陳新宇從應用層面介紹了 Kafka 在深度學習人臉識別平臺架構中的位置及重要性,並介紹了一些 connect 等 Kafka 生態組件的應用與遇到的問題。

陳新宇:CKafka 在人臉識別 PaaS 中的應用

Kafka 高性能解密及優化

最後騰訊雲基礎架構部高級工程師閆燕飛分享了《Kafka 高性能解密及優化》,深度解析了 Kafka 的技術架構,並從存儲與消息格式等方面分享了 Kafka 高性能的原因,同時對優化其性能也提出了一些見解。

閆燕飛:Kafka 高性能解密及優化

騰訊雲+社區技術沙龍 Kafka Meetup 是由騰訊雲+社區和 Kafka 社區主辦的 Kafka 線下技術分享活動。此次是 Kafka Meetup 第一次在深圳舉辦,由開源中國協辦。活動不僅擴大了 Kafka 開源社區的影響力,也引發了開發者對於 Kafka 的應用場景及未來走向的進一步思考。

現場合影

部分聽衆

嘉賓合影

部分工作人員與志願者

現場資料

Apache Kafka的過去,現在,和未來.pdf

kafka-高性能揭祕及優化.pdf

kafka在人臉識別PAAS中的應用.pdf

騰訊雲Kafka自動化運營實踐.pdf

知乎基於Kubernetes的Kafka平臺的設計和實現.pdf

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章