原创 聊聊ChatGLM-6B部署與微調的深入理解
ChatGLM的部署，主要是兩個步驟： 在Github上下載chatglm的庫文件 在Hugging Face上下載模型參數與配置文件 ChatGLM包 從Github上看ChatGLM項目文件的結構來看，僅僅是包含三種部署方式的py代
2024-01-03 14:45:25
2
原创 聊聊流式數據湖Paimon(五)
從Demo入手，瞭解Paimon/Flink項目搭建的全過程。記錄下採坑之旅。 創建Flink項目 在IDEA中創建Flink項目，由於沒有Flink的archetype，因此需要手動創建一下。 參考：idea快速創建flink項目，至此F
2023-12-29 14:36:09
2
原创 聊聊流式數據湖Paimon(四)
Partial Update 數據打寬 通過不同的流寫不同的字段，打寬了數據的維度，填充了數據內容；如下所示： --FlinkSQL參數設置 set `table.dynamic-table-options.enabled` = `
2023-12-28 14:38:54
3
原创 聊聊流式數據湖Paimon(二)
當前的問題 Apache Paimon 最典型的場景是解決了 CDC (Change Data Capture) 數據的入湖；CDC 數據來自數據庫。一般來說，分析需求是不會直接查詢數據庫的。 容易對業務造成影響，一般分析需求會查詢全表，
2023-12-26 14:41:53
6
原创 聊聊流式數據湖Paimon(三)
概述 如果表沒有定義主鍵，則默認情況下它是僅追加 表類型(Append Only Table)。 根據桶(Bucket)的定義，我們有兩種不同的僅追加模式："Append For Scalable Table"和"Append For Qu
2023-12-26 14:41:53
2
原创 聊聊流式數據湖Paimon(一)
翻譯自 Apache Paimon官方文檔 概覽 概述 Apache Paimon (incubating) 是一項流式數據湖存儲技術，可以爲用戶提供高吞吐、低延遲的數據攝入、流式訂閱以及實時查詢能力。 簡單來說，Paimon的上游是
2023-12-25 14:51:37
11
原创 聊聊Flink必知必會(六)
Flink是一個分佈式系統，需要有效地分配和管理計算資源才能執行流應用程序。它集成了所有常見的集羣資源管理器，如Hadoop YARN和Kubernetes，但也可以設置爲作爲一個獨立的集羣運行，甚至作爲一個庫。 Flink集羣的剖析 Fl
2023-12-22 14:57:32
3
原创 聊聊Flink必知必會(七)
What is State 雖然數據流中的許多操作一次只查看一個單獨的事件（例如事件解析器），但某些操作會記住多個事件的信息（例如窗口算子）。 這些操作稱爲有狀態的(stateful)。 有狀態操作的一些示例： 當應用程序搜索某些事件模式
2023-12-22 14:57:32
原创 聊聊神經網絡的優化算法
優化算法主要用於調整神經網絡中的超參數，使得訓練數據集上的損失函數儘可能小。其核心邏輯是通過計算損失函數對參數的梯度（導數）來確定參數更新方向。 SGD Stochastic Gradient Descent(隨機梯度下降法)：隨機梯度下降
2023-12-19 16:38:03
原创 聊聊GLM基座模型的理論知識
概述 大模型有兩個流程：預訓練和推理。 預訓練是在某種神經網絡模型架構上，導入大規模語料數據，通過一系列的神經網絡隱藏層的矩陣計算、微分計算等，輸出權重，學習率，模型參數等超參數信息。 推理是在預訓練的成果上，應用超參數文件，基於預訓練結
2023-12-16 14:58:26
原创 ChatGLM2-6B模型的微調
概述 GLM、ChatGLM的相關基礎知識說明： GLM模型底層還是基於Transformer，因此其設計、優化都是圍繞Transformer的各個組件的。從注意力層的掩碼、位置編碼等方面優化與設計。 ChatGLM3/ChatGLM2的
2023-12-14 15:02:58
8
原创 博客分類彙總
彙總一下，自己寫的博客分類，方便自己日常的學習與積累。 AI 聊聊基於AI模型MGeo實現行政區識別 聊聊日誌聚類算法及其在工作中的應用場景 聊聊神經網絡模型流程與卷積神經網絡的實現 聊聊 神經網絡模型 預訓練生成超參數實現 聊聊 神經網絡
2023-12-10 14:40:18
原创 聊聊神經網絡模型流程與卷積神經網絡的實現
神經網絡模型流程 神經網絡模型的搭建流程，整理下自己的思路，這個過程不會細分出來，而是主流程。 在這裏我主要是把整個流程分爲兩個主流程，即預訓練與推理。預訓練過程主要是生成超參數文件與搭設神經網絡結構；而推理過程就是在應用超參數與神經網絡
2023-12-06 14:35:58
8
原创 聊聊大數據框架的數據更新策略: COW,MOR,MOW
大數據框架下，常用的數據更新策略有三種: COW: copy-on-write, 寫時複製; MOR: merge-on-read, 讀時合併; MOW: merge-on-write, 寫時合併; hudi等數據湖倉框架，常用的是前兩種實
2023-12-06 14:35:48
原创 聊聊 神經網絡模型 預訓練生成超參數實現
概述 在上一篇博客中，已經闡述了預訓練過程中，神經網絡中超參數的計算邏輯，本文，從程序實現的角度，將數學計算轉換爲程序代碼，最終生成超參數文件；並將替換 聊聊 神經網絡模型 示例程序——數字的推理預測 中已訓練好的超參數文件，推理預測數字，
2023-12-03 15:38:21