原创 貝葉斯推理導論：如何在‘任何試驗之前絕對一無所知’的情況下計算概率

從左至右依次爲托馬斯·貝葉斯、皮埃爾-西蒙·拉普拉斯和哈羅德·傑弗里斯——逆概率(即現在所說的客觀貝葉斯分析)發展中的關鍵人物。[24]   https://avoid.overfit.cn/post/8c7a66d96347413db8

2024-05-01 13:04:51

原创 10個使用NumPy就可以進行的圖像處理步驟

圖像處理是一種數學計算。數字圖像由稱爲像素的彩色小點組成。每個像素由紅、綠、藍(RGB)三個獨立的顏色組成。每個像素中的主色由每個RGB分量的數值決定。 本文將介紹10個使用使用NumPy就可以進行的圖像處理步驟，雖然有更強大的圖像處理庫，

2024-05-01 13:04:51

原创 如何準確的估計llm推理和微調的內存消耗

Command-R+， Mixtral-8x22b和Llama 3 70b都在最近的幾周內發佈了，這些模型是巨大的。它們都有超過700億個參數: Command-R+: 104B參數 Mixtral-8x22b:具有141B參數的混合專家(

2024-04-29 13:04:56

原创 通過學習曲線識別過擬合和欠擬合

本文將介紹如何通過學習曲線來有效識別機器學習模型中的過擬合和欠擬合。 https://avoid.overfit.cn/post/daca44bbf042471bbd50b1a1514895cf

2024-04-29 13:04:56

原创 2024年4月計算機視覺論文推薦

本文將整理4月發表的計算機視覺的重要論文，重點介紹了計算機視覺領域的最新研究和進展，包括圖像識別、視覺模型優化、生成對抗網絡(gan)、圖像分割、視頻分析等各個子領域 https://avoid.overfit.cn/post/6ea12

2024-04-28 13:05:05

原创 常用的時間序列分析方法總結和代碼示例

時間序列是最流行的數據類型之一。視頻，圖像，像素，信號，任何有時間成分的東西都可以轉化爲時間序列。 在本文中將在分析時間序列時使用的常見的處理方法。這些方法可以幫助你獲得有關數據本身的見解，爲建模做好準備並且可以得出一些初步結論。 我們將分

2024-04-26 13:04:50

原创 開源向量數據庫比較：Chroma, Milvus, Faiss,Weaviate

語義搜索和檢索增強生成(RAG)正在徹底改變我們的在線交互方式。實現這些突破性進展的支柱就是向量數據庫。選擇正確的向量數據庫能是一項艱鉅的任務。本文爲你提供四個重要的開源向量數據庫之間的全面比較，希望你能夠選擇出最符合自己特定需求的數據庫。

2024-04-25 13:04:47

原创 微軟Phi-3，3.8億參數能與Mixtral 8x7B和GPT-3.5相媲美，量化後還可直接在IPhone中運行

Phi-3系列 Phi-3是一系列先進的語言模型，專注於在保持足夠緊湊以便在移動設備上部署的同時，實現高性能。Phi-3系列包括不同大小的模型： Phi-3-mini（38億參數） - 該模型在3.3萬億個令牌上進行訓練，設計得足夠小，可

2024-04-24 13:05:00

原创 Barnes-Hut t-SNE:大規模數據的高效降維算法

在數據科學和分析中，理解高維數據集中的底層模式是至關重要的。t-SNE已成爲高維數據可視化的有力工具。它通過將數據投射到一個較低維度的空間，提供了對數據結構的詳細洞察。但是隨着數據集的增長，標準的t-SNE算法在計算有些困難，所以發展出了B

2024-04-23 13:04:49

原创 5種搭建LLM服務的方法和代碼示例

在不斷髮展的大型語言模型（LLMs）領域中，用於支持這些模型的工具和技術正以與模型本身一樣快的速度進步。在這篇文章中，我們將總結5種搭建開源大語言模型服務的方法，每種都附帶詳細的操作步驟，以及各自的優缺點。   https://avoid

2024-04-22 13:05:00

原创 使用ORPO微調Llama 3

ORPO是一種新的微調技術，它將傳統的監督微調和偏好對齊階段結合到一個過程中。減少了訓練所需的計算資源和時間。論文的實證結果表明，ORPO在各種模型大小和基準上都優於其他對齊方法，所以這次我們就來使用最新的Llama 3來測試下ORPO的效

2024-04-21 13:04:56

原创 掌握時間序列特徵工程：常用特徵總結與 Feature-engine 的應用

時間序列數據的特徵工程是一種技術，用於從時間序列數據中提取信息或構造特徵，這些特徵可用於提高機器學習模型的性能。以下是一些常見的時間序列特徵工程技術： 滾動統計量：計算時間窗口內的統計量，如平均值、中位數、標準偏差、最小值和最大值。這些統

2024-04-20 13:05:13

原创 RAG 2.0架構詳解：構建端到端檢索增強生成系統

關於檢索增強生成（RAG）的文章已經有很多了，如果我們能創建出可訓練的檢索器，或者說整個RAG可以像微調大型語言模型（LLM）那樣定製化的話，那肯定能夠獲得更好的結果。但是當前RAG的問題在於各個子模塊之間並沒有完全協調，就像一個縫合怪一樣

2024-04-19 13:04:48

原创 PyTorch小技巧：使用Hook可視化網絡層激活（各層輸出）

這篇文章將演示如何可視化PyTorch激活層。可視化激活，即模型內各層的輸出，對於理解深度神經網絡如何處理視覺信息至關重要，這有助於診斷模型行爲並激發改進。 我們先安裝必要的庫: https://avoid.overfit.cn/post

2024-04-17 13:04:51

原创 ORPO偏好優化：性能和DPO一樣好並且更簡單的對齊方法

現在有許多方法可以使大型語言模型（LLM）與人類偏好保持一致。以人類反饋爲基礎的強化學習（RLHF）是最早的方法之一，並促成了ChatGPT的誕生，但RLHF的成本非常高。與RLHF相比，DPO、IPO和KTO的成本明顯更低，因爲它們不需要

2024-04-16 13:04:46