Google推出了實驗性的NotebookLM產品，一款基於RAG的個性化AI助手產品，基於用戶提供的可信信息，通過RAG，幫助用戶洞察和學習參考內容，然後藉助AI整理筆記，轉換爲用戶最終需要的大綱、博客、商業計劃書等最終目的。
在之前的博客中，當時提到："AI搜索產品的邊界絕不止步於搜索，往上往下，往上如何更懂用戶真實訴求，往下通過Agents組合解決複雜的問題，給用戶提供端到端的個性化解決方案"。google的這款NotebookLM 也比較契合這樣的思路，基於用戶提供的信息，結合搜索技術，提供個性化的筆記AI助手，但整體比較剋制，重點強調可信，也就是遵循用戶提供的信息，並未結合google的強項通用搜索。
下面步入正題，我們來介紹NotebookLM的功能，並做一個嘗試。
官方介紹
官方介紹是，NotebookLM 是一個基於用戶信任信息（也就是用戶自己提供的文檔）的個性化（私人的）人工智能助手。
目前，NotebookLM 僅在US提供服務，體驗需要魔法
功能特點
- 虛擬研究助手： 用戶可以上傳與項目相關的文檔，NotebookLM 會立即成爲這些信息的專家。說人話就是，NotebookLM會解析文檔，拆分爲chunk，這就理解了文檔內容。
- 幫助用戶洞察信息 (Go from information to insight) NotebookLM 提供了一個強大的新界面，使用戶能夠輕鬆地從閱讀到提問再到寫作，AI 助手會在每一步提供幫助。 上傳文檔後，用戶可以在提問框進行提問，NotebookLM通過
RAG能力進行回答，並能查看參考文檔內容。
如果機器回覆的內容獲得用戶的認可，用戶可以將回復內容保存到notes，所以設想下協作模式，就是用戶先上傳要學習的參考文檔，然後就自己關注的點（其實就是整理大綱）進行提問，最後將這些回覆內容都保存到筆記。
當你所有關心的問題都提問後，你就獲得了許多有用有價值的notes片段。基於這些片段，就可以：
- 快速起草內容，選中整理的筆記（就是上面保存的），NotebookLM 可以幫助用戶快速轉化爲大綱、博客文章、商業計劃等。
隱私說明
google強調用戶的個人數據不會被用於訓練 NotebookLM，因此任何私人或敏感信息都將保持私密，除非用戶選擇與合作者共享資源。
行業評價
- Tiago Forte（《Building A Second Brain》一書的作者）評價 NotebookLM 爲“爲創意工作利用 AI 而創建的最佳軟件”。
NotebookLM 體驗
看完了官方介紹，我們來實戰上手。
新建筆記本
首先新建一個筆記本，修改名稱爲"人工智能與搜索引擎"
上傳參考文檔
這裏我們上傳王樹森的《搜索引擎技術》pdf作爲參考文檔。
可以直接上傳PDF，文本文件，也可以從google雲盤選擇，或者直接複製文本。
洞察理解文檔
現在開始提問，我們要了解搜索引擎與人工智能，我們開始提問：
Q: 搜索引擎的原理是什麼
可以看到，NotebookLM比較好的回覆了搜索引擎鏈路，包含三級漏斗等信息。
點擊引用可以查看原文。
現在我們瞭解了基本的鏈路，那麼我們接着看每一塊有什麼樣的技術。
Q: 搜索引擎中Query Processing具體處理方法
回覆不穩定，用英文就行了回覆，不過內容還是靠譜的。
接着，我們來問召回的技術方案。
Q: 搜索引擎的召回 (Retrieval)部分，通常用有哪些召回方案，用到哪些人工智能技術，請用中文回答
這裏試下，加上用中文回答的指令。
回答比較好，提出了三種召回方案，以及用到的技術，我們保存起來，繼續提問。
Q: 詳細介紹下搜索引擎排序的三級漏斗，採用的模型方案，用中文回覆
三級漏斗介紹了，但是模型方案回答一般般，先保存起來，
快速起草內容
提問演示告一段落，我們開始將上述提問後保存的notes整理。注意這裏的notes可以自己添加，隨時記錄自己的想法。
通過上面的提問，我們保存了4個notes，我們選中：
可以看到，系統給出了總結 、創建大綱、合併到筆記等功能，我們試下創建學習指南：
系統生成了一個學習指南，可以看到包含QP、召回、排序等。
我們試下其他的，還是選中這四個：
Q: 基於這些內容創建一篇博客，用markdown輸出，用中文回覆
下面看成品
## 搜索引擎的工作原理
用戶在搜索框中輸入查詢詞，搜索引擎返回若干文檔，並按照順序呈現給用戶。從用戶點擊搜索按鈕，到看到最終搜索結果，中間耗時約數百毫秒。在這期間，搜索引擎做了大量的計算，我們將這一系列計算步驟稱爲“搜索引擎鏈路”。搜索引擎鏈路通常採用三級漏斗的結構，分別是召回海選、粗排和精排。
**搜索引擎鏈路主要包含三個核心步驟：**
1. **查詢詞處理（Query Processing）**
- **分詞：**將查詢詞切分成多個詞，例如將“冬季衛衣推薦”切分成“冬季”、“衛衣”、“推薦”。深度學習模型，例如BERT，在分詞任務上取得了很好的效果。
- **詞權重：**計算查詢詞中每個詞的重要性，用於文本召回中的丟詞策略。詞權重可以通過人工標註或機器學習模型來確定。
- **查詢詞改寫：**生成與原始查詢詞語義相同的其他表達方式，例如將“副作用”改寫爲“不良反應”。查詢詞改寫可以基於規則、同義詞表、上下位詞表，也可以使用深度學習模型來生成。
- **意圖識別：**判斷用戶查詢的意圖，例如用戶是想查找附近的餐廳，還是想了解某個新聞事件。這包括時間敏感性，檢查用戶是否偏好新內容（例如“最新消息”），以及區域意圖，考慮用戶的位置和文檔的地理相關性（例如“我附近的餐廳”）。
2. **召回（Retrieval）**
- **文本召回:** 這是最基本也是最重要的召回通道。文本召回主要利用倒排索引，這種數據結構記錄了“詞→包含該詞的文檔列表”。給定查詢詞，系統先對其進行分詞，然後利用倒排索引找到包含這些詞的文檔。爲了提高召回率，會進行同義詞擴展，例如將“冬季”擴展爲“冬天”。此外，文本召回還需要考慮詞之間的距離，以及詞權重，以排除不相關的文檔。
- **向量召回:** 這是近年來興起的一種重要召回方案，它克服了文本召回的侷限性，可以召回語義相關但文本不匹配的文檔。向量召回的核心是將查詢詞和文檔分別表示爲向量，然後計算向量之間的相似度。系統預先計算好所有文檔的向量表示，並利用近似最近鄰（ANN）索引技術來加速檢索過程。向量召回又可以分爲相關性召回和個性化召回，兩者區別在於訓練模型的目標不同，前者擬合相關性分數，後者擬合用戶點擊行爲。
- **離線召回:** 這種方案利用空閒的計算資源，離線挖掘出高質量的“查詢詞→文檔列表”索引，用於線上召回。離線召回的方法有很多，例如：挖掘曝光日誌，利用線上搜索結果頁中排名靠前、點擊率高的文檔來構建索引；離線執行搜索鏈路，對大量查詢詞進行召回和排序，將排序結果存儲爲索引；使用NLP模型，例如doc2query，離線尋找與文檔高度相關的查詢詞，構建索引。
3. **排序 (Ranking)**
- **召回海選：** 從數億的文檔庫中快速取回數萬篇文檔，使用簡單的模型和規則給文檔打分，選擇分數最高的數千篇文檔進入下一級排序。爲了控制計算量，召回海選的相關性模型通常採用雙塔模型，將查詢詞和文檔分別映射到向量空間，計算向量相似度。點擊率模型也採用雙塔結構，使用戶特徵、查詢詞特徵和文檔特徵，預估用戶點擊的可能性。召回海選可以使用規則或簡單的線性模型融合相關性分數和其他特徵，也可以不使用融合模型。
- **粗排：** 從召回海選得到的數千篇文檔中選出數百篇文檔，作爲精排的候選集。粗排使用規模稍大的模型，比召回海選更準確地評估文檔與查詢詞的相關性，並預估用戶點擊的可能性。粗排階段可以使用深度神經網絡（DNN）或BERT模型來計算相關性分數，並使用DNN模型預估點擊率。融合模型通常使用GBDT模型，將相關性、點擊率以及其他特徵進行融合，得到最終分數。
- **精排：** 精排使用深度神經網絡，對數百篇文檔打分，按照融合分數排序，最終展示在搜索結果頁上。精排使用的模型規模最大，可以使用BERT模型計算相關性，使用DNN模型預估點擊率。融合模型通常使用GBDT模型，融合相關性、點擊率、內容質量、時效性、地域性、個性化等多個分數，最終決定文檔的排序。
**人工智能技術在搜索引擎召回方案中的應用：**
- **分詞:** 將查詢詞切分成多個詞，例如將“冬季衛衣推薦”切分成“冬季”、“衛衣”、“推薦”。深度學習模型，例如BERT，在分詞任務上取得了很好的效果。
- **詞權重:** 計算查詢詞中每個詞的重要性，用於文本召回中的丟詞策略。詞權重可以通過人工標註或機器學習模型來確定。
- **查詢詞改寫:** 生成與原始查詢詞語義相同的其他表達方式，例如將“副作用”改寫爲“不良反應”。查詢詞改寫可以基於規則、同義詞表、上下位詞表，也可以使用深度學習模型來生成。
- **語義匹配模型:** 用於向量召回，將查詢詞和文檔嵌入到向量空間，並計算向量相似度。常用的模型包括雙塔模型、BERT等。
- **近似最近鄰（ANN）搜索:** 用於向量召回，在大規模文檔庫中快速找到與查詢詞向量表示最相似的文檔。
多種召回方案和人工智能技術的結合使用，可以提高搜索引擎的召回率，將更多相關的文檔呈現在用戶面前。
需要注意的是，提供的資料中沒有詳細介紹三級漏斗中每個階段具體的模型方案，例如使用的BERT模型結構、DNN模型的層數和激活函數、GBDT模型的樹的數量和深度等信息。如果需要了解這些細節，可能需要參考其他資料。成品：
NotebookLM 評價
優點：
- 良好的產品設計方案，可以碎片化的記錄零星的思考，通過RAG爲零星的思考整理提煉內容，最後將零星的思考內容彙總輸出內容，幫助用戶實現端到端的應用
可優化的方向：
- 通過查看chunk，還是按照文本長度做的分片，未做語義結構化分片
- 支持網頁、筆記導入
- 增加網頁檢索開關，可以制定檢索範圍、比如維基百科
- 語言保持
- 生成的內容尚不支持修改
- 引入更多的多模能力，輸入端支持多模輸入，輸出支持個性化的多模輸出
總結
NotebookLM 給了我們一個很好的LLM時代的personalized AI 產品範例，一個很好的RAG落地產品。很多時候，能力還是哪個能力，通過交互的創新，就能打造出"The best software ever created for leveraging AI in your creative work"。