原创 kettle從入門到精通 第六十三課 ETL之kettle kettle調用python腳本的兩種方法

kettle中不能直接調用python腳本，可以通過shell腳本和http進行調用pyton服務。 一、shell腳本調用python腳本 1、下面是一段簡單的無參python腳本 import os def main():

2024-05-25 13:07:45

原创 kettle從入門到精通 第六十二課 ETL之kettle job中發送郵件（帶多個附件），閉坑指南

1、今天羣裏一個朋友加我微信遇到問下向我求助。一頓測試下來發現原來是使用kettle姿勢不對，對kettle沒有完全駕馭導致的，今天和大家一起分享下這個問題。 2、先自我膨脹下，自從寫kettle系列文章之後認識了很多朋友，同時文章也幫助

2024-05-24 13:07:38

原创 kettle從入門到精通 第六十一課 ETL之kettle 任務調度器，輕鬆使用xxl-job調用kettle中的job和trans

1、大家都知道kettle設計的job流程文件有個缺點：只能設置簡單的定時任務，無法設置複雜的如支持cron表達式的job。  今天給大家分享一個使用xxl-job調度carte的流程文件的示例。整個調度流程圖如下：  1）xxl-job

2024-05-18 13:07:36 1

原创 kettle從入門到精通 第六十課 ETL之kettle for循環處理每條數據，so easy！

1、kettle原生是支持for循環處理的，無需通過javascript腳本或者java腳本開發for循環控制。當然如果想通過腳本挑戰下也是可以的。 本節課主要講解如何通過kettle中的job來實現for循環控制，如下圖所示： 1）步驟

2024-05-16 13:07:37

原创 kettle從入門到精通 第五十九課 ETL之kettle 郵件發送多個附件，使用正則輕鬆解決

問題場景： 一個朋友說他用kettle將生成好的多個文件（a.xls和b.xls，文件在data目錄下）發送給客戶，但是data目錄下還有其他的文件，他如果指定data目錄發送會把 data目錄下面的所有文件都作爲附件進行發送，顯然不符合要

2024-05-13 13:07:38

原创 kettle從入門到精通 第五十八課 ETL之kettle HTTP post使用教程

1、今天羣裏有位朋友問我有沒有關於調用http接口的kettle 示例，我下意識的去翻我的公衆號推文，愣是沒找到。果斷開始擼。  2、本次演示流程通過調用接口【網易雲音樂隨機歌曲】，然後解析返回的數據，接口信息如下圖所示： 3、本次演示

2024-05-11 13:07:41

原创 kettle從入門到精通 第五十七課 ETL之kettle調用存儲過程

1、之前有個同學說他使用kettle執行一坨sql語句時，kettle直接卡死掉了。我給出的建議是使用存儲過程，果不其然使用存儲過程順利解決問題。 今天我們一起來學習下kettle如何調用存儲過程，這裏基於mysql進行演示。調用存儲過程有

2024-05-10 13:07:42 1

原创 kettle從入門到精通 第五十六課 ETL之kettle Microsoft Excel Output

1、9.4 版本的kettle中有兩個Excel輸出，Excel輸出和Microsoft Excel輸出。前者只支持xls格式，後者支持xls和xlsx兩種格式，本節課主要講解步驟Microsoft Excel輸出，如下圖所示：  1）、

2024-05-06 13:07:39

原创 kettle從入門到精通 第五十五課 ETL之kettle Excel輸入

1、 Excel輸入，Microsoft Excel輸入步驟的作用是從Microsoft Excel中讀取數據，如下圖所示： 1）Excel輸入步驟從文件D:\data\測試數據.xlsx讀取數據。 2）將數據通過寫日誌步驟打印出來。 2

2024-05-06 13:07:39

原创 ETL工具-nifi乾貨系列 第十八講 nifi Funnel實戰教程

1、Funnel （漏斗），Funnel是 NiFi 組件，用於將多個連接中的數據合併到一個連接中。 使用場景：nifi中的Funnel組件用於合併多個數據流並將它們傳遞到下游處理器。它可以將來自不同來源的數據流合併到一個數據流中，方便後續

2024-04-27 13:07:40

原创 ETL工具-nifi乾貨系列 第十七講 nifi Input Port&Out Port 實戰教程

1、端口（Port），包含輸入端口（Input Port）和輸出端口（Out Port ） 使用一個或多個處理組構建的數據流需要一種方式將處理組連接到其他數據流組件。 處理組和處理組之間可以通過使用端口來進行連接。這裏的端口和kettle中

2024-04-26 13:07:40

原创 ETL工具-nifi乾貨系列 第十六講 nifi Process Group實戰教程，一文輕鬆搞定

1、目前nifi系列已經更新了10多篇教程了，跟着教程走的同學應該已經對nifi有了初步的解，但是我相信同學們應該有一個疑問：nifi設計好的數據流列表在哪裏？如何同時運行多個數據流？如啓停單個數據流？ 帶着這些疑問，今天的主角nifi P

2024-04-25 13:07:37

原创 ETL工具-nifi乾貨系列 第十五講 nifi處理器ConsumeKafka實戰教程

1、上一節課我們學習了處理器PushKafka，通過該處理器往kafka中間件寫數據，今天我們一起學習處理器ConsumeKafka，此處理器從kafka讀取數據進行後續處理，如下圖所示：  本次示例比較簡單：處理器ConsumeKafk

2024-04-24 13:07:50

原创 ETL工具-nifi乾貨系列 第十四講 nifi處理器PublishKafka實戰教程

1、kettle的kafka生產者叫kafka producer，nifi中的相應處理器爲PublishKafka，如下圖所示： 可以很清楚的看到PublishKafka處理器支持多個版本的kafka，選擇時要根據自己的kafka 版本選

2024-04-23 13:07:40

原创 kettle從入門到精通 第五十三課 ETL之kettle MQTT/RabbitMQ consumer實戰

1、上一節課我們學習了MQTT producer 生產者步驟，MQTT consumer消費者步驟。該步驟可以從支持MRQTT協議的中間件獲取數據，該步驟和kafka consumer 一樣可以處理實時數據交互，如下圖所示：  2、雙擊步

2024-04-22 13:07:40