本回介紹進一步的修圖功能,Stable Diffusion controlNet需要下載元件,使用後會在原介面增加controlNet的選項,能夠設定畫面上人物的動作,並且可以調整指示詞與controlNet的比重。
一、元件安裝
先啟動Stable diffusion webUI並打開介面,切換到Extensions頁籤下的Available子頁籤,接著點擊Load from按鈕就會跳出所有可用的外掛清單。
安裝Stable diffusion webUI,按右邊的install
下載處理中……
再回到Extensions按Apply and restart UI刷新畫面
該頁面有列表,能夠看到已安裝的元件,點擊「重啟」按鈕來重新啟動 Stable Diffusion Web UI,就能使元件生效。
二、下載相關模組
https://huggingface.co/lllyasviel/ControlNet/tree/main/models
OpenPose 骨架圖:可以調整人物動作的模組
Normal 法線圖
Canny 邊緣檢測圖:類似之前的leonardo.ai controlNet的功能,產圖會與人物動作完全相同
Depth 景深圖
以上是常用的模組,每個模組都有5G左右要花一些時間下載,各位可以挑自己要的去下載,本文介紹Canny邊緣檢測圖與OpenPose骨架圖
把檔案下載到這個路徑:\安裝資料夾\extensions\sd-webui-controlnet\models
例如:D:\StableDiffusion\stable-diffusion-webui\extensions\sd-webui-controlnet\models
再回到Extensions按Apply and restart UI刷新畫面或重新啟動
如果成功的話可以看到原本的介面在seed底下多了一個ControlNet選項:
三、使用教學
1、Canny邊緣檢測圖
就直接看這張圖設定,假設步驟二有下載OpenPose、Canny這二個模組,選單會出現Canny與OpenPose的選項
就照圖片的設定,就可以直接按產圖鍵
結果就是同動作的人物換畫風,在左上角的選單可以調整繪圖模組
2、OpenPose骨架圖設定
這張圖和上圖不同處就是要選OpenPose與相關下拉選項
並且要按紅色按鈕去調整人物動作
按edit鍵會出現這個調整人物動作的介面,再按發送姿勢到ControlNet就會把人物的動作改成新的動作
最後就是產生圖片的範例,就放在這邊,給各位自行研究,可以看到圖片人物的動作已經改成新的動作,其他的設定值例如提示詞也還是有效
結語:
在找資料的過程中,我發現別人寫的教學好像很少著重在每個步驟的說明,不是少了安裝流程,就是只有貼人物骨架設定的圖片,缺漏設定介面與相關參數設定。但是Stable Diffusion的介面事實上是不大友善的,因此個人有盡可能附產生當時的參數設定,就比較能夠按圖操作,減少摸索的時間。
這邊說明有些部份似乎有點簡略,並不是每個選項這邊都有提到它的功用,也許以後會再找時間補更詳細一些。