完成了套件與環境配制,現在我們來了解ComfyUI節點概念, 搭出一個文生圖基礎工作流來了解它的工作原理。
節點是ComfyUI中的基本操作單元,每個節點執行一個特定的任務,例如載入圖像、應用濾鏡或生成圖像。
通過連接不同節點,建立一個基礎的圖像生成工作流,生成和處理圖像。
這裡介紹一些常用的基本節點
先打開 comfyUI , 在畫面左擊滑鼠兩下,就可以看到一個節點搜尋框。我們可以輸入節點名稱
這裡輸入Load Checkpoint, 就可以找到載入模型的節點,在ComfyUI中,Checkpoint通常指的是用於生成圖像的預訓練神經網路模型。不同的模型可以生成不同風格的圖像,比如卡通風格、寫實風格等。這些模型我們可以從模型分享的網站下載
https://civitai.com/
https://openart.ai/discovery
點擊一下下方搜尋結果,節點就會出現ComfyUI網頁介面上
這類型的節點,下方就可以輸入檔案路徑, 右邊顏色點就是輸出,負責傳遞資料給下一個節點。我們依序把基礎節點放在介面上
我們按照由左而右的順序進行連結,左方節點的輸出是右方節點的輸入
1.Load Checkpoint: 載入模型節點, 輸出 Clip 是處理文字跟圖形的方式, VAE是模型潛空間的編碼方式
2.CLIP Text Encode: 這裡有兩個提示詞節點,分開處理正負向提示詞
3.Empty latent image: AI模型潛空間畫布, 寬高設定值跟載入模型的訓練參數有關
4.KSampler: 取樣器會根據模型的clip,提示詞的內容,開始進行生成
5.VAE decoder: 由於AI生成是在AI潛空間, 要顯示在螢幕上,需要進行潛空間解碼到像素空間
6.preview image: 最後由顯示節點進行畫面輸出
連結好節點後,這樣就是一個文生圖的工作流,在右側系統工具列,按下 Queue Prompt, 就可以看到節點依序進行,最後輸出一張與提示詞相符合的AI生成圖片,在最後一個顯示節點上