原创 Google出品的NotebookLM 人工智能筆記本，一款基於RAG的personalized AI產品

Google推出了實驗性的NotebookLM產品，一款基於RAG的個性化AI助手產品，基於用戶提供的可信信息，通過RAG，幫助用戶洞察和學習參考內容，然後藉助AI整理筆記，轉換爲用戶最終需要的大綱、博客、商業計劃書等最終目的。 在之前的博

2024-05-20 14:24:18

原创 比Selenium更優秀的playwright介紹與未來展望

Playwright是微軟開發的，專門爲滿足端到端測試需求而創建的。Playwright支持包括Chromium、WebKit和Firefox在內的所有現代渲染引擎。在Windows、Linux和macOS上進行測試，本地或在CI上，無頭或

2024-05-15 14:19:08

原创 LLM生態下爬蟲程序的現狀與未來

最近出現一批與LLM有關的新的爬蟲框架，一類是爲LLM提供內容抓取解析的，比如 Jina Reader 和 FireCrawl ，可以將抓取的網頁解析爲markdown這樣的對LLM友好的內容，例如markdown，這類本質上還是傳統的爬蟲

2024-05-10 14:20:52 1

原创 淺談sparse vec檢索工程化實現

前面我們通過兩篇文章: BGE M3-Embedding 模型介紹 和 Sparse稀疏檢索介紹與實踐 介紹了sparse 稀疏檢索，今天我們來看看如何建立一個工程化的系統來實現sparse vec的檢索。 之前提過milvus最新的V

2024-04-23 14:20:04

原创 BGE M3-Embedding 模型介紹

BGE M3-Embedding來自BAAI和中國科學技術大學，是BAAI開源的模型。相關論文在https://arxiv.org/abs/2402.03216，論文提出了一種新的embedding模型，稱爲M3-Embedding，它在多

2024-04-19 14:20:18 5

原创 Sparse稀疏檢索介紹與實踐

Sparse稀疏檢索介紹 在處理大規模文本數據時，我們經常會遇到一些挑戰，比如如何有效地表示和檢索文檔，當前主要有兩個主要方法，傳統的文本BM25檢索，以及將文檔映射到向量空間的向量檢索。 BM25效果是有上限的，但是文本檢索在一些場景仍具

2024-04-16 14:19:15 4

原创 知識圖譜增強的KG-RAG框架

昨天我們聊到KG在RAG中如何發揮作用，今天我們來看一個具體的例子。 我們找到一篇論文： https://arxiv.org/abs/2311.17330 ，論文的研究人員開發了一種名爲知識圖譜增強的提示生成（KG-RAG）框架（https

2024-04-11 14:19:20 1

原创 知識圖譜在RAG中的應用探討

在這篇文章中，我們來詳細探討知識圖譜（KG）在RAG流程中的具體應用場景。 緣起 關於知識圖譜在現在的RAG中能發揮出什麼樣的作用，之前看了360 劉煥勇的一個分享，簡單的提了使用知識圖譜增強大模型的問答效果的幾個方面： 在知識整理階段，

2024-04-11 14:19:20 2

原创 深度解讀RAGFlow的深度文檔理解DeepDoc

4 月 1 日，Infinity宣佈端到端 RAG 解決方案 RAGFlow 開源，僅一天收穫上千顆星，到底有何魅力？ 我們來安裝體驗並從代碼層面來分析看看。 安裝體驗 服務器需要有docker，或者直接訪問官方提供的demo： https

2024-04-10 14:21:06 28

原创 RAG 範式、技術和趨勢

這裏分享同濟大學 Haofen Wang的關於檢索增強生成的報告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 ，RAG 範式、技術和

2024-03-16 14:20:12 1

原创 In-batch negatives Embedding模型介紹與實踐

語義索引（可通俗理解爲向量索引）技術是搜索引擎、推薦系統、廣告系統在召回階段的核心技術之一。語義索引模型的目標是：給定輸入文本，模型可以從海量候選召回庫中快速、準確地召回一批語義相關文本。語義索引模型的效果直接決定了語義相關的物料能否被成功

2024-03-14 14:19:14

原创 ReACT介紹與llama_index ReActAgent實踐

Agent是大模型的重要應用方向，而ReACT是學術界提出的重要方法，本文介紹ReACT論文，然後通過llama_index ReActAgent來分析ReACT的執行過程。 ReACT 《REACT: SYNERGIZING REASON

2024-03-13 14:22:58

原创 LLM 推理和應用 開源框架梳理

之前對LLM 推理和應用瞭解不多，因此抽時間梳理了一下，我們從模型量化，模型推理，以及開發平臺等三個層面來梳理分析。 模型量化 模型訓練時爲了進度，採用的32位浮點數，因此佔用的空間較大，一些大的模型需要很大的顯存才能加載，且計算推理過程較

2024-03-12 14:21:51 6

原创 RAPTOR 一種基於樹的RAG方法，RAG的準確率提高 20%

一種理解整個文檔上下文的新穎的 RAG 方法 RAG 是當前使用LLM的標準方法，大多數現有方法僅從檢索語料庫中檢索短的連續塊，限制了對整個文檔上下文的整體理解。 最近，一種名爲 RAPTOR （Recursive Abstractive

2024-03-08 14:19:16 1

原创 Langchain 介紹與入門

官方介紹 LangChain 是一個利用LLM開發應用程序的框架。它讓應用程序具備： 上下文感知能力：將LLM連接到上下文源（提示說明、少量示例、用以形成其響應的內容等） 推理：依靠LLM進行推理（例如根據提供的上下文確定如何回答、採取什

2024-03-01 14:25:21 2