如何讓 Llama2、通義千問開源大語言模型快速跑在函數計算上?

原創

2023-10-12 00:16

前言

隨着ChatGPT 以及 Stable Diffusion,Midjourney 這些新生代 AIGC 應用的興起，圍繞AIGC應用的相關開發變得越來越廣泛，有呈井噴之勢，從長遠看這波應用的爆發不僅僅是停留在形式之上，更是在各個領域產生實際的生產力價值，比如辦公領域有copilot system 365,釘釘智能；代碼編程領域有 github copilot ,cursor ide; 文娛領域的妙鴨相機；可以肯定的是未來 AIGC 的應用數量會更多，類型也會更加豐富，企業的內部軟件或者SOP都會盡可能的跟AI進行融合，這必然催生出海量的AIGC應用開發需求，這也代表着巨大的市場機會。

開發 AIGC 應用的挑戰

AIGC 的應用前景如此誘人，可能決定企業未來的發展走向。然而對很多中小企業及開發者而言，上手進行aigc應用的開發依然有着非常高昂的成本：

基礎模型服務的獲取：chatgpt提供了非常完善的api 開發體系，然而並不開放給國內客戶使用，開源的模型進行服務的部署非常困難
高昂的費用， GPU 短缺導致 GPU 的費用急劇飆升，本地購買高規格顯卡需要一次性花費不少的成本，並且並不能提供在線服務。
端到端的對接：單純模型服務的api無法變成直接的生產力，需要完成【企業數據&企業SOP】-> LLM 服務 -> 各種端側的完整鏈路

函數計算AIGC應用的解決方案

函數計算圍繞創建和使用AIGC，從基礎設施到應用生態，開發端到使用端提供的完整的配套

主要包含三個部分：

一、模型服務底座，函數計算可以部署來自魔搭，huggingface等開元社區的ai模型，我們針對 LLM， Bert等智能知識庫/助手場景做了專門的定製，接入OpenAI兼容的api規範，提供一鍵部署的模版和可視化的web訪問界面，幫助開發者或者企業快速上手 llama2,chatglm2,通義千問等模型的部署
二、業務連接層，串聯業務需求以及的模型服務，安全服務，數據庫服務等基礎資源，這部分有在AIGC應用部分有很多相同的邏輯，比如賬號體系，數據集管理，提示詞模版，工具管理，模型服務管理等，從各業務側視角看，不一樣的部分只是提示詞，知識庫以及工具集，底層的模型服務，安全服務，數據庫服務則是共享的，這層可以簡化業務裏面構建不同智能場景的流程，快速，低成本的可以構建不同業務的AIGC應用
三、客戶端側，客戶端是AI應用的使用部分，也是最接近業務的部分，這部分更多的考慮是如何將AI服務融入已有的使用端，比如釘釘，企業微信等辦公IM系統，以及web瀏覽器插件等，通過函數計算+eventbridge可以快速幫助ai服務接入到這些客戶端

本篇教程先來分享一下第一個部分，如何通過函數計算快速部署 AIGC相關模型服務包括LLM模型和Embedding(Bert) 模型

LLM模型及Embedding服務部署教程

前期準備

使用該項目，您需要有開通以下服務：

服務	備註
函數計算 FC	對 AIGC 進行 CPU/GPU 推理計算https://free.aliyun.com/?pipCode=fc
文件存儲 NAS	存儲大語言模型以及Embedding服務所需要的模型, 新用戶請先領取免費試用資源包https://free.aliyun.com/?product=9657388&crowd=personal