給想玩AIGC的小白:教你從0搭一個圖文視頻生成網站(附插件&源碼)

圖片

圖片

👉騰小云導讀

Stable Diffusion的發佈是AI圖像生成發展過程中的一個里程碑,相當於給大衆提供了一個可用的高性能模型,讓「AI 文本圖片生成」變成普通人也能玩轉的技術。最近一些網友將網上的真人圖片不斷餵給模型,讓其自主學習,訓練出來的效果已經可以做到以假亂真——你甚至不知道哪些圖片是 AI 生成的還是真人拍出來的。你感興趣嗎?今天這篇文章從零開始,手把手教你如何搭建自己的真人 AI 網站。強烈建議收藏(不管是否喫灰)。

👉看目錄,點收藏

1. 搭建你自己的 AI 網站

2. 模型下載

3. 漢化插件下載

4. 生成你的真人圖片

4.1 生成真人圖片

4.2 不同風格圖片生成

4.3 動畫視頻生成

5. 讓你生成的圖片開口說話

01、搭建你自己的AI網站

本篇我們將單刀直入教各位最快搭建出一個質量不錯的 AI 網站,如果各位想了解相關的原理、技術點,可以留言告訴我們。下文會提及的模型、插件和源碼,我們也一併提前爲各位整理~點擊下方公衆號卡片,進入回覆「AI網站」即可領取。

第一步,我們可以直接使用 GitHub 倉庫:

stable-diffusion-webui。

圖片

首先,在電腦上安裝 python 3.10.6,如果已經安裝了其他 python 版本,可以利用 conda 安裝多一個 3.10 的虛擬環境版本:

conda create -n novelai python==3.10.6

接下來下載該倉庫的代碼:

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

再安裝對應的 GPU 版本的 Pytorch,直接進入網站:

https://pytorch.org/get-started/locally/,複製對應的命令。

圖片

進入剛剛創建的虛擬環境”novelai“:

圖片

執行剛剛的命令:

./python -m pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

安裝成功後,可以測試自己的 pytorch 版本是否可以跑通。

圖片

進入剛剛下載的 Github 倉庫的代碼文件夾,安裝第三方依賴:

python -m pip install -r requirements.txt

02、模型下載

有了網站之後,就需要下載對應的 AI 模型進行有效生成。一些網友已經利用網上大量的圖片訓練好的模型,並分享到網站上。我們舉個例子:

https://civitai.com/

這個大名鼎鼎的網站被人們稱爲「C 站」,裏面有很多你意想不到的模型。

圖片

可以在這個網站上找到很多已經訓練好的模型。例如找一個生成真人圖片的模型:ChilloutMix。從網頁上下載對應的模型後,把該模型放到工程目錄:models/Stable-diffusion。

圖片

圖片

03、漢化插件下載

stable-diffusion-webui 這個項目還支持下載第三方插件。例如我們可以下載對應的漢化插件。其下載地址如下:

https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN

登陸上面網站後,就可以下載插件的安裝包:

圖片

然後將文件解壓放到 extensions 目錄下:

圖片

接着,就需要對網頁進行重啓服務:

圖片

在擴展這裏,把插件勾上:

圖片

在“設置”選項裏,找到 zh_CN,最後需要重新啓動網頁,就可以生效了:

圖片

圖片

04、生成你的真人圖片

啓動主程序"launch.py",等待一定的時間出現網頁地址就可以了。

圖片

打開網址時,有時候可能模型沒有更新。因此可以嘗試一下多次重啓。需要選擇剛剛下載的模型:ChilloutMix。

圖片

這樣就已經完成前期的部署工作了。接下來詳細教大家怎麼生成自己想要的圖片。

4.1 生成真人圖片

在c站上,已經有很多大神利用 promt 生成圖片了,因此我們就可以對這些進行參考。例如找一個好看的圖片,對下面的 Prompt 詞語進行復制:

圖片

其中 Prompt 詞語放在提示詞框內,消極 Prompt 詞語放在對應的方框內。同時調整對應的參數,最後就可以生成真人圖片:

圖片


4.2 不同風格圖片生成

在 C 站上,還有很多 Lora 模型可以進行下載。這是一種可以幫助你調整畫風的小模型。主要是放到 Prompt 中進行使用。例如我們可以在網站上下載原神的 Lora 模型:

圖片

‍下載完成後,把模型放到 models/Lora 路徑下:

圖片

按照圖片下的步驟,選中模型後,會看到具體的 Prompt 在方框內了:

圖片

把步驟 4.1 中的 Prompt 詞語加入到這裏,就可以生成一個原神風格的圖片:

圖片


4.3 動畫視頻生成

首先需要安裝插件 “deforum” 這個插件能夠根據多個生成的圖片構造成視頻動畫。

https://github.com/deforum-art/deforum-for-automatic1111-webui

在當前 stable-diffusion 目錄下,執行下面命令,就會發現 extensions 多了新的插件:

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

圖片

同時重啓新的網頁,會發現多了 deforum 這個選項:

圖片

可以先執行簡單的生成,在提示詞上,已經默認填寫了語句:

{  
    "0": "tiny cute swamp bunny, highly detailed, intricate, ultra hd, sharp photo, crepuscular rays, in focus, by tomasz alen kopera",  
    "30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong",  
    "60": "a beautiful coconut --neg photo, realistic",  
    "90": "a beautiful durian, trending on Artstation"  
}

最後生成出來的視頻如下:

圖片

Prompt 詞語模板解釋如下:

//Abstracted Example  
{  
    "0": "Prompt A --neg NegPompt"  
    "12": "Prompt B"   
}

其中“0”和“12”提示在插值中解析的關鍵幀。Prompt A 和 B 是肯定提示,NegPrompt 是否定提示。當然,也可以直接用上面 C 站下載下來的模型,生成真人動畫。

圖片

05、讓你生成的圖片開口說話

從上面我們已經得到了生成的圖片。那麼就可以利用這張圖片,創建自己的 AI 說話視頻。登陸這個網址:

https://studio.d-id.com/

圖片

選擇剛剛生成的圖片,然後輸入自己想要說的話,之後生成就可以了:

圖片

最後就可以得到比較逼真的真人 AI 說話視頻了。

圖片

有了這個技術,就可以批量製作二次元甚至是真人說話視頻。這對於 AICG 這個行業是一個顛覆性的技術,相信未來這個技術在多個領域上都能夠推廣開來。 點下方卡片進入公衆號,在後臺回覆「AI網站」,即可0門檻領取本文所述模型、插件和源碼。 快來展示你的搭建成果吧~

以上是本次分享全部內容,歡迎大家在評論區分享交流。如果覺得內容有用,歡迎轉發~

-End-

原創作者|李洛勤

技術責編|李洛勤

圖片

最近無論是火爆的 GPT 智能文本生成模型,還是Diffusion Model(GLIDE、DALLE2、Imagen等)智能圖片生成模型,AIGC領域給人驚喜不斷。它使用深度學習算法,從大量的數據中學習模式,以創建高質量的文本、音頻、圖像和視頻。在《這波可以,終於有內行人把 GPT-4 說透了》《TVP專家夜聊:不用ChatGPT的開發都該被炒掉》兩篇中,我們探討了「GPT們」的發展對程序員的影響——會取代程序員嗎?各位程序員朋友們給出了精彩的回答:

圖片

圖片

圖片

圖片

AIGC深度學習模型不斷完善、開源模式的推動、大模型探索商業化的可能,成爲讓其發展的加速度。總體來說,我們看到了AIGC在未來更可能是與人類合作的模式。人類可以藉助AI技術進行創作和生產,提高生產效率和質量。

圖片

“你還能想到AIGC什麼應用方式?ta還能幫助程序員做什麼?“

歡迎在評論區聊一聊你的看法。在4月12日前將你的評論記錄截圖,發送給騰訊雲開發者公衆號後臺,可領取騰訊雲「開發者春季限定紅包封面」一個,數量有限先到先得😄。我們還將選取點贊量最高的1位朋友,送出騰訊QQ公仔1個。4月12日中午12點開獎。快邀請你的開發者朋友們一起來參與吧!

關注公衆號並點亮星標 不錯過更多鵝廠學習資源

公衆號回覆「AI網站」,領取本文模型、插件和源碼

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章