[ANNOUNCE] 每週社區更新-51(20191216-20191222)

作者:程鶴羣(軍長)

Apache Flink 中文郵件列表中的 Flink Weekly 週報,計劃每週一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~

本期的主要內容由 Hequn Cheng 整理,包括:發佈 Flink 1.10 和 Flink 1.9.2 的更新,關於將 Flink Docker image 發佈集成到 Flink 發佈過程中的討論,PyFlink 後期新功能的討論以及一些博客文章。

Flink開發

  • [releases] Kostas Kloudas 建議在 feature-freeze 期間,關注下1.10新功能的文檔。他創建了一個總 umbrella issue(FLINK-15273)來跟蹤未完成的文檔任務。 [1]
  • [releases] Hequn 展開了一個啓動Flink 1.9.2發佈的討論。 本週解決了一個 blocker,還剩一個blocker。 考慮到正在進行的1.10版本以及社區的資源有限,計劃在聖誕節後進行1.9.2的投票。[2]
  • [releases] Patrick 建議將 Flink Docker 映像發佈集成到Flink發佈過程中。 目前的爭論點是是否要爲發佈 Docker 鏡像的 Dockerfiles 提供專門的 git repo。[3]
  • [sql] 關於在 Flink SQL 中支持 JSON 函數的討論似乎已經達成共識。 Jark Wu 建議 Forward Xu 開始 Flip 投票。[4]
  • [runtime] 在試用了新的 FLIP-49 內存配置之後,Stephan 進行了討論並提供了一些反饋。 他提供了一些關於配置鍵名稱和描述的改進意見。 目前收到了許多其他人的贊同。 [5]
  • [connectors] Flip-27(新的 source 接口)的討論本週有了一些更新。 本週討論的重點是“有界和無界”的概念。 [6]
  • [pyflink] Jincheng 展開了一個討論,意在和社區一起討論 PyFlink 接下來希望支持的功能。目前有一個人回覆,期待 PyFlink 能更好地集成 Jupyter。 [7]

[1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Documentation-tasks-for-release-1-10-td36031.html
[2] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-9-2-td36087.html
[3] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Integrate-Flink-Docker-image-publication-into-Flink-release-process-td36139.html
[4] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html
[5] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html
[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-27-Refactor-Source-Interface-td24952.html
[7] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-What-parts-of-the-Python-API-should-we-focus-on-next-td36119.html

已知缺陷

  • [FLINK-15262] [1.10.0] kafka connector doesn't read from beginning immediately when 'connector.startup-mode' = 'earliest-offset'. [8]
    即使設置了'connector.startup-mode' = 'earliest-offset'的配置項,Kafka 的 connector 也沒有從最開始的點位消費。
  • [FLINK-15300] [1.10.0] Shuffle memory fraction sanity check does not account for its min/max limit. [9]
    如果我們有一個設置 shuffle memory 最小/最大值的配置,但是分數超出最小/最大範圍,則完整性檢查(TaskExecutorResourceUtils#sanityCheckShuffleMemory)可能會失敗。
  • [FLINK-15304] [1.11.0] Remove unexpected Hadoop dependency from Flink's Mesos integration. [10]
    目前 Hadoop 依賴存在於 Flink 的 Mesos 集成中,需要去掉。
  • [FLINK-15313] [1.10.0] Can not insert decimal with precision into sink using TypeInformation. [11]
    如果 Insert 到一張帶有 Decimal 類型的表,並且 Decimal 類型包含精度,那麼目前 Flink 會拋出異常。
  • [FLINK-15320] [1.10.0] JobManager crashes in the standalone model when cancelling job which subtask' status is scheduled. [12]
    Standalone 集羣下,如果 cancel 一個子 task 的狀態是 scheduled 的作業,JobManager 會崩潰。

[8] https://issues.apache.org/jira/browse/FLINK-15262
[9] https://issues.apache.org/jira/browse/FLINK-15300
[10] https://issues.apache.org/jira/browse/FLINK-15304
[11] https://issues.apache.org/jira/browse/FLINK-15313
[12] https://issues.apache.org/jira/browse/FLINK-15320

活動/博客文章/其他

  • Philip Wilcox 發佈了一個博客,介紹 Bird 公司內他們如何使用 Flink 檢測離線踏板車。 該博客主要分享一些如何解決實際業務場景中一系列棘手問題的經驗,涉及 Kafka,事件時間,水印和排序。 [13]
  • Preetdeep Kumar 發表了一篇博文,介紹了使用 Apache Flink 處理流數據的用例和最佳實踐。[14].

[13] https://www.ververica.com/blog/replayable-process-functions-time-ordering-and-timers
[14] https://dzone.com/articles/streaming-etl-with-apache-flink

2 分鐘快速訂閱 Flink 中文郵件列表

Apache Flink 中文郵件列表訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方確認郵件
  3. 回覆該郵件 confirm 即可訂閱

訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章