原创 淺談sparse vec檢索工程化實現

前面我們通過兩篇文章: BGE M3-Embedding 模型介紹 和 Sparse稀疏檢索介紹與實踐 介紹了sparse 稀疏檢索，今天我們來看看如何建立一個工程化的系統來實現sparse vec的檢索。 之前提過milvus最新的V

2024-04-23 14:20:04

原创 BGE M3-Embedding 模型介紹

BGE M3-Embedding來自BAAI和中國科學技術大學，是BAAI開源的模型。相關論文在https://arxiv.org/abs/2402.03216，論文提出了一種新的embedding模型，稱爲M3-Embedding，它在多

2024-04-19 14:20:18 4

原创 Sparse稀疏檢索介紹與實踐

Sparse稀疏檢索介紹 在處理大規模文本數據時，我們經常會遇到一些挑戰，比如如何有效地表示和檢索文檔，當前主要有兩個主要方法，傳統的文本BM25檢索，以及將文檔映射到向量空間的向量檢索。 BM25效果是有上限的，但是文本檢索在一些場景仍具

2024-04-16 14:19:15 1

原创 知識圖譜增強的KG-RAG框架

昨天我們聊到KG在RAG中如何發揮作用，今天我們來看一個具體的例子。 我們找到一篇論文： https://arxiv.org/abs/2311.17330 ，論文的研究人員開發了一種名爲知識圖譜增強的提示生成（KG-RAG）框架（https

2024-04-11 14:19:20

原创 知識圖譜在RAG中的應用探討

在這篇文章中，我們來詳細探討知識圖譜（KG）在RAG流程中的具體應用場景。 緣起 關於知識圖譜在現在的RAG中能發揮出什麼樣的作用，之前看了360 劉煥勇的一個分享，簡單的提了使用知識圖譜增強大模型的問答效果的幾個方面： 在知識整理階段，

2024-04-11 14:19:20 2

原创 深度解讀RAGFlow的深度文檔理解DeepDoc

4 月 1 日，Infinity宣佈端到端 RAG 解決方案 RAGFlow 開源，僅一天收穫上千顆星，到底有何魅力？ 我們來安裝體驗並從代碼層面來分析看看。 安裝體驗 服務器需要有docker，或者直接訪問官方提供的demo： https

2024-04-10 14:21:06 22

原创 RAG 範式、技術和趨勢

這裏分享同濟大學 Haofen Wang的關於檢索增強生成的報告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 ，RAG 範式、技術和

2024-03-16 14:20:12 1

原创 In-batch negatives Embedding模型介紹與實踐

語義索引（可通俗理解爲向量索引）技術是搜索引擎、推薦系統、廣告系統在召回階段的核心技術之一。語義索引模型的目標是：給定輸入文本，模型可以從海量候選召回庫中快速、準確地召回一批語義相關文本。語義索引模型的效果直接決定了語義相關的物料能否被成功

2024-03-14 14:19:14

原创 ReACT介紹與llama_index ReActAgent實踐

Agent是大模型的重要應用方向，而ReACT是學術界提出的重要方法，本文介紹ReACT論文，然後通過llama_index ReActAgent來分析ReACT的執行過程。 ReACT 《REACT: SYNERGIZING REASON

2024-03-13 14:22:58

原创 LLM 推理和應用 開源框架梳理

之前對LLM 推理和應用瞭解不多，因此抽時間梳理了一下，我們從模型量化，模型推理，以及開發平臺等三個層面來梳理分析。 模型量化 模型訓練時爲了進度，採用的32位浮點數，因此佔用的空間較大，一些大的模型需要很大的顯存才能加載，且計算推理過程較

2024-03-12 14:21:51 5

原创 RAPTOR 一種基於樹的RAG方法，RAG的準確率提高 20%

一種理解整個文檔上下文的新穎的 RAG 方法 RAG 是當前使用LLM的標準方法，大多數現有方法僅從檢索語料庫中檢索短的連續塊，限制了對整個文檔上下文的整體理解。 最近，一種名爲 RAPTOR （Recursive Abstractive

2024-03-08 14:19:16 1

原创 Langchain 介紹與入門

官方介紹 LangChain 是一個利用LLM開發應用程序的框架。它讓應用程序具備： 上下文感知能力：將LLM連接到上下文源（提示說明、少量示例、用以形成其響應的內容等） 推理：依靠LLM進行推理（例如根據提供的上下文確定如何回答、採取什

2024-03-01 14:25:21 2

原创 搜索引擎RAG召回效果評測MTEB介紹與使用入門

RAG 評測數據集建設尚處於初期階段，缺乏針對特定領域和場景的專業數據集。市面上常見的 MS-Marco 和 BEIR 數據集覆蓋範圍有限，且在實際使用場景中效果可能與評測表現不符。目前最權威的檢索榜單是 HuggingFace MTEB，

2024-02-27 14:20:58 2

原创 索引構建磁盤IO太高，巧用tmpfs讓內存來幫忙

在文本索引構建這種需要大量佔用磁盤IO的任務，如果正巧你的內存還有點餘糧，是否可以先索引存儲到內存，然後再順序寫入到磁盤呢？，需要大量佔用磁盤IO，如果正巧你的內存還有點餘糧，是否可以先索引存儲到內存，然後再順序寫入到磁盤呢？ 將Linu

2024-02-06 14:22:16

原创 從TF-IDF 到BM25, BM25+，一文徹底理解文本相關度

相關性描述的是⼀個⽂檔和查詢語句匹配的程度。我們從搜索引擎召回時，肯定希望召回相關性高的數據，那麼如何來量化相關度呢。 首先，我們定義，一個文檔doc，由多個詞語 term 組成。 最早，通過最簡單的TF-IDF來衡量。 TF-IDF 樸素

2024-02-03 14:21:36