iT邦幫忙

2024 iThome 鐵人賽

DAY 4
0
生成式 AI

用 Comfyui 打造高效的AI 圖像生成工作流 系列 第 4

第4天:ComfyUI 基礎工作流與原理

  • 分享至 

  • xImage
  •  

完成了套件與環境配制,現在我們來了解ComfyUI節點概念, 搭出一個文生圖基礎工作流來了解它的工作原理。

節點是ComfyUI中的基本操作單元,每個節點執行一個特定的任務,例如載入圖像、應用濾鏡或生成圖像。
通過連接不同節點,建立一個基礎的圖像生成工作流,生成和處理圖像。

這裡介紹一些常用的基本節點

  • Load Checkpoint:用於載入預訓練的圖像生成模型。
  • CLIP Text Encode:用於將文字轉換為特徵向量,以控製圖像的生成。
  • Empty latent image: AI模型潛空間畫布
  • KSampler:用於在潛空間進行採樣和生成圖像,可以調整採樣方法、步數等參數。
  • VAE en/decoder:VAE變分自編碼器, 負責處理AI模型潛空間跟電腦螢幕的像素空間轉換。
  • Preview Image: 把像素渲染在螢幕上

先打開 comfyUI , 在畫面左擊滑鼠兩下,就可以看到一個節點搜尋框。我們可以輸入節點名稱
https://ithelp.ithome.com.tw/upload/images/20240818/2016868428CciKFTFT.png

這裡輸入Load Checkpoint, 就可以找到載入模型的節點,在ComfyUI中,Checkpoint通常指的是用於生成圖像的預訓練神經網路模型。不同的模型可以生成不同風格的圖像,比如卡通風格、寫實風格等。這些模型我們可以從模型分享的網站下載
https://civitai.com/
https://openart.ai/discovery

點擊一下下方搜尋結果,節點就會出現ComfyUI網頁介面上
https://ithelp.ithome.com.tw/upload/images/20240818/20168684oEw1g9c0or.png

這類型的節點,下方就可以輸入檔案路徑, 右邊顏色點就是輸出,負責傳遞資料給下一個節點。我們依序把基礎節點放在介面上
https://ithelp.ithome.com.tw/upload/images/20240818/201686842U1AOPqvLY.png

我們按照由左而右的順序進行連結,左方節點的輸出是右方節點的輸入
1.Load Checkpoint: 載入模型節點, 輸出 Clip 是處理文字跟圖形的方式, VAE是模型潛空間的編碼方式
2.CLIP Text Encode: 這裡有兩個提示詞節點,分開處理正負向提示詞
3.Empty latent image: AI模型潛空間畫布, 寬高設定值跟載入模型的訓練參數有關
4.KSampler: 取樣器會根據模型的clip,提示詞的內容,開始進行生成
5.VAE decoder: 由於AI生成是在AI潛空間, 要顯示在螢幕上,需要進行潛空間解碼到像素空間
6.preview image: 最後由顯示節點進行畫面輸出

連結好節點後,這樣就是一個文生圖的工作流,在右側系統工具列,按下 Queue Prompt, 就可以看到節點依序進行,最後輸出一張與提示詞相符合的AI生成圖片,在最後一個顯示節點上

https://ithelp.ithome.com.tw/upload/images/20240818/201686846x7SgHrFFO.png


上一篇
第3天:安裝ComfyUI Manager 和環境設定
下一篇
第5天:從ComfyUI 工作流,學習穩定擴散模型生成原理
系列文
用 Comfyui 打造高效的AI 圖像生成工作流 5
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言