原创 聊聊 神經網絡模型 傳播計算邏輯
概述 預訓練過程在不斷地更新權重超參數與偏置超參數，最後選擇合適的超參數，生成超參數文件。上一篇博客 是使用已有的預訓練超參數文件，要訓練自己的超參數，需要對神經網絡層中前向傳播與反向傳播計算熟悉，瞭解計算邏輯，才能不斷地更新選擇合適的超參
2023-12-03 15:38:21
原创 聊聊卷積神經網絡CNN
卷積神經網絡（Convolutional Neural Network，CNN）是一種被廣泛應用於圖像識別、語音識別和自然語言處理等領域的深度學習模型。與RNN、Transformer模型組成AI的三大基石。 在卷積神經網絡中，相比較普通的
2023-12-01 14:33:50
原创 聊聊 神經網絡模型 示例程序——數字的推理預測
之前學習瞭解過了神經網絡、CNN、RNN、Transformer的內容，但除了在魔塔上玩過demo，也沒有比較深入的從示例去梳理走一遍神經網絡的運行流程。從數字推測這個常用的示例走一遍主流程。 MNIST數據集 MNIST是機器學習領域 最
2023-12-01 14:33:50
3
原创 聊聊分佈式 SQL 數據庫Doris(九)
優化器的作用是優化查詢語句的執行效率，它通過評估不同的執行計劃並選擇最優的執行計劃來實現這一目標。 CBO: 一種基於成本的優化器，它通過評估不同查詢執行計劃的成本來選擇最優的執行計劃。CBO會根據數據庫系統定義的統計信息以及其他因素，對不
2023-11-30 14:42:43
2
原创 聊聊分佈式 SQL 數據庫Doris(八)
稀疏索引 密集索引：文件中的每個搜索碼值都對應一個索引值，就是葉子節點保存了整行. 稀疏索引：文件只爲索引碼的某些值建立索引項. 稀疏索引的創建過程包括將集合中的元素分段，並給每個分段中的最小元素創建索引。在搜索時，先定位到第一個大於搜索值
2023-11-29 14:39:25
原创 聊聊分佈式 SQL 數據庫Doris(七)
LSM-Tree Doris的存儲結構是類似LSM-Tree設計的，因此很多方面都是通用的，先閱讀了解LSM相關的知識，再看Doris的底層存儲與讀取流程會清晰透徹很多，如下是幾個關鍵的設計: SSTable: Sorted Strings
2023-11-28 14:46:28
原创 聊聊分佈式 SQL 數據庫Doris(五)
閱讀 Doris SQL 原理解析，總結下Doris中SQL解析流程： 詞法識別：解析原始SQL文本，拆分token 語法識別：將token轉換成AST 單機邏輯查詢計劃：將AST經過一系列的優化（比如，謂詞下推等）成查詢計劃，提高執行性
2023-11-27 16:07:47
5
原创 聊聊分佈式 SQL 數據庫Doris(六)
負載均衡 此處的負載均衡指的是FE層的負載均衡. 當部署多個 FE 節點時，用戶可以在多個 FE 之上部署負載均衡層來實現 Doris 的高可用。官方文檔描述: 負載均衡 。 實現方式 實現方式有多種，如下列舉。 開發者在應用層自己進行重試
2023-11-27 16:07:47
原创 聊聊分佈式 SQL 數據庫Doris(四)
FE層的架構都能在網上找到說明. 但BE層的架構模式、一致性保障、與FE層之間的請求邏輯，數據傳輸邏輯等，我個人暫時沒有找到相應的博客說明這些的。當然這些是我個人在學習與使用Doris過程中，對內部交互邏輯與實現感興趣纔有這些疑問. 還好現
2023-11-22 14:37:34
原创 聊聊分佈式 SQL 數據庫Doris(三)
在 Doris 的存儲引擎規則: 表的數據是以分區爲單位存儲的，不指定分區創建時，默認就一個分區. 用戶數據首先被劃分成若干個分區（Partition），劃分的規則通常是按照用戶指定的分區列進行範圍劃分，比如按時間劃分。 在每個分區內，數
2023-11-22 14:37:34
原创 聊聊分佈式 SQL 數據庫Doris(二)
Doris中，Leader節點與非Leader節點和Observer節點之間的元數據高可用和一致性，是通過bdbje(全稱:Oracle Berkeley DB Java Edition)的一致性和高可用實現的。 元數據與同步流程 元數據主
2023-11-21 14:36:27
3
原创 聊聊分佈式 SQL 數據庫Doris(一)
MPP MPP:Massively Parallel Processing, 即大規模並行處理. 一般用來指多個SQL數據庫節點搭建的數據倉庫系統. 執行查詢的時候, 查詢可以分散到多個SQL數據庫節點上執行, 然後彙總返回給用戶. Dor
2023-11-21 14:36:27
10
原创 聊聊Flink必知必會(五)
聊聊Flink的必知必會(三) 聊聊Flink必知必會(四) 從源碼中，根據關鍵的代碼，梳理一下Flink中的時間與窗口實現邏輯。 WindowedStream 對數據流執行keyBy()操作後，再調用window()方法，就會返回W
2023-11-18 14:41:08
1
原创 聊聊魔塔社區MGeo模型的部署與運行
從現今與今後的發展來看，單一的業務不再僅僅依靠於傳統的技術開發，而是應該結合AI模型來應用、實踐。只有這樣，才能更數智化，更高效化，更貼合時代的發展。 魔塔 社區就類似國外的Hugging Face，是一個模型即服務的運行平臺。在這個
2023-11-12 15:09:37
2
原创 聊聊Transform模型
從之前的RNN系列到現在的Transformer模型，是一個演進的過程，技術的實現與迭代並不是一蹴而就，而是一個持續演進的歷程。如果一開始就從Tranformer的模型機制來學習，知識的不全面以及欠缺就會導致懵逼甚至看不懂又不理解。 RNN
2023-11-05 14:38:03
1