在人工智能領域，大語言模型（LLMs）是根據預訓練數據集進行”學習“，獲取可以擬合結果的參數，雖然隨着參數的增加，模型的功能也會隨之增強。但無論專業領域的小模型，還是當下最火、效果最好的大模型，都有一個共同的劣勢：無法準確/正確地回答出訓練數據集以外（區別於驗證集和測試集的新增數據，如實時新聞、未公開的企業信息等）的結果，進而編造答案進行回覆，即大模型幻覺問題。
爲了解決上述問題，同時避免微調/重新訓練帶來的成本，LLMs插件應運而生。 通過LLMs強大的內容生成能力和上下文理解能力，結合插件提供的數據以及特定功能，不僅拓寬了LLMs的應用領域，還增加了LLMs生成結果的可信度，更好地服務於使用者。
1.插件
插件是一種軟件組件，它可以被添加到一個主要的應用程序或系統中，以擴展其功能或提供額外的特性。插件通常被設計成可獨立安裝和卸載，並且可以與主應用程序進行交互。插件的功能取決於所應用的領域和具體的應用程序，在AIGC快速發展的今天，大語言模型插件異軍突起，改變了插件存在的形態，這也是本篇文章重點的研究對象。結合當前大語言模型插件的發展，插件分類如下：
1.1 傳統插件
傳統插件(Plug-in,又稱addin、add-in、addon或add-on,又譯外掛)是一種遵循一定規範的應用程序接口編寫出來的程序。其只能運行在程序規定的系統平臺下（可能同時支持多個平臺），而不能脫離指定的平臺單獨運行，即插件的運行依賴於宿主軟件，無差別地啓用或禁用插件功能。傳統插件可分爲瀏覽器插件和客戶端軟件插件，傳統插件的存在形態如下圖所示。
1.2 大語言模型插件
大語言模型插件是隨着大語言模型發展而誕生的全新插件。 大語言模型插件的核心是Web API，獨立於大語言模型，插件開發過程不受大語言模型的約束，同時沒有開發語言的限制，更加通用，只要Web API遵循RESTful相關規則即可。只是在爲大語言模型配置插件時遵循配置規則，如原生ChatGPT插件配置遵循OpenAPI格式以及添加相關描述。大語言模型與插件是相對獨立的兩個部分，大語言模型與插件關係示意如下圖所示。
大語言模型是插件的選擇器，按需使用插件功能，即只有當用戶提供的問題或數據滿足插件調用條件時，纔會調用插件，不是無差別地使用插件功能，大語言模型插件的工作流程如下圖所示。
2.ChatGPT 插件
目前最強大的商用大語言模型莫過於OpenAI的大語言模型ChatGPT-3.5/4.0，均支持插件功能（後面統一使用ChatGPT），並且對支持開發者開放了插件開發入口，開發者可以基於自身需求開發Web API作爲ChatGPT插件。但是，ChatGPT創建插件的過程比較繁瑣，下面以GPTBots插件創建過程作爲對比，兩者插件創建過程如下圖所示（左：ChatGPT創建插件；右：GPTBots創建插件）。
3.GPTBots 插件
我們不一樣！GPTBots插件應用的技術路線不同於ChatGPT，GPTBots插件融合了ChatGPT插件創建規範（通用的OpenAPI規範）和函數調用功能，這樣做有如下優勢：
開發者只需專注於自身功能接口開發，無需開發額外的接口
插件配置遵循OpenAPI規範，開發者可以直接複用面向 ChatGPT Web 的插件，一鍵發佈插件至 GPTBots
GPTBots 插件自動兼容市面上主流已支持插件能力的 LLM，開發者無需再去適配每個LLM
3.1 創建插件
通過上面插件創建過程對比，我們知道，使用GPTBots插件只需四步：開發插件接口、新建插件、配置插件鑑權、添加符合OpenAPI規範的接口配置，其餘的交給GPTBots。
（1）開發插件接口
這裏與ChatGPT原生方式相同，需要開發者自行開發插件接口，但是，在GPTBots中不需要開發者另行開發插件清單接口、插件接口配置信息接口、插件Logo接口，只需要開發者專注於插件功能接口開發。
（2）新建插件
GPTBots新建插件入口如下圖。
（3）配置插件鑑權
GPTBots插件提供三種鑑權方式，即不鑑權(None)、Basic鑑權和Bearer鑑權，配置過程如下圖。
（4）添加符合OpenAPI規範的接口配置
完成上述準備工作，最後爲插件配置接口規則，即開發者的功能接口，GPTBots採用的接口規則遵循OpenAPI規範，配置說明如下圖。
完成插件創建後，可以在“我的插件”中看到已創建成功的插件，同時，GPTBots提供了插件一鍵發佈功能，即將插件發佈到插件市場，供其他開發者使用。
綜上，GPTBots插件最大程度簡化了用戶創建和使用插件的流程，極大降低了插件使用門檻。
3.2 插件應用
GPTBots不僅創建插件流程非常簡單、對開發者非常友好，使用起來也非常順手。使用插件前，我們需要爲Bot添加插件。以高德天氣插件爲例，爲“天氣小精靈”Bot添加插件過程如下：
當我們爲“天氣小精靈”Bot添加天氣插件和搜索插件後，當問題中出現天氣和實時信息相關問題時，插件會主動承擔內容生產的責任，實測效果如下：
3.3 插件市場
GPTBots官方爲廣大開發者和用戶提供了衆多實用的插件，如PDF生成插件、天氣插件和搜索插件等等，GPTBots部分插件如下：
4.思考與展望
插件在實際業務應用中，由於LLM每次調用token是有上限的，而插件也不可避免的佔用token，這樣就導致無法在一次請求調用中提供多個插件備用。或者一個插件協議如果過於複雜，可能導致直接調用失敗。
GPTBots平臺爲了更好解決此類問題，推出了Flow功能。開發者可以在不同的步驟編排多個LLM參與業務處理，每個LLM可以最多添加3個插件，這樣就很好的解決了插件使用限制的問題，同時通過減少請求上下文內容長度讓LLM更加專注，從而提升插件調用成功率。
LLMs插件區別於傳統插件，它獨立、靈活、自由、功能強大，大語言模型插件的核心是Web API，因此大語言模型插件完全擁抱互聯網，同時，沒有開發語言“歧視”，無論開發者的語言棧是Python、Java、Go、PHP等，只要可以開發HTTP協議接口，遵循RESTful規則，就可以構建大語言模型插件，相信未來大語言模型插件種類會越來越豐富，功能越來越強大。相對於ChatGPT繁瑣的插件創建流程，GPTBots平臺簡化了插件創建流程，簡單、易用、好用，提高插件開發者效率，降低開發者學習成本，未來一定會有越來越多的開發者選擇GPTBots平臺。
極光GPTBots已上線，訪問https://www.gptbots.ai/developer，立即認證成爲開發者體驗!
關於極光
極光（Aurora Mobile，納斯達克股票代碼：JG）成立於2011年，是中國領先的客戶互動和營銷科技服務商。成立之初，極光專注於爲企業提供穩定高效的消息推送服務，憑藉先發優勢，已經成長爲市場份額遙遙領先的移動消息推送服務商。隨着企業對客戶觸達和營銷增長需求的不斷加強，極光前瞻性地推出了消息雲和營銷雲等解決方案，幫助企業實現多渠道的客戶觸達和互動需求，以及人工智能和大數據驅動的營銷科技應用，助力企業數字化轉型。