iT邦幫忙

2023 iThome 鐵人賽

DAY 10
0

首先再來進一步定義stable diffusion中model的使用,參考這篇文章的說明:

  1. Checkpoint:
    算圖的第一步是選擇模型,如同在Day中的範例中,使用不同可以在風格上有很大的差異,例如動漫風、寫實風。
    且checkpoint檔案通常非常大,而不同的checkpoint在算圖時不能疊加。
  2. LoRA(Low-Rank Adaption):
    我個人的濃縮翻譯是:在大型模型中,插入fine-tune訓練層。
    或是參考文章的說明:

    可以簡單把LoRA 當成風格濾鏡來理解

簡單的說,就是根據需求,多載一些,checkpoint如之前所說,下載放到執行目錄下\stable-diffusion-webui\models\Stable-diffusion資料夾,而LoRA放置\stable-diffusion-webui\models\Lora資料夾。
下載後點選LoRA標籤,再按下Refresh,就會顯示現在有哪些LoRA模型,點一下其中一個,在題字中會跳出
<lora:modelname:weight>
LoRA是可以混合權重,總共加總為1,可以參考下方例子。

那怎麼知道要用哪些呢?這時就可以去藏經閣CIVITAI,參考別人精美的作品,而作品內會描述它的設定,但詳細程度不一定,如下例子:
https://ithelp.ithome.com.tw/upload/images/20230925/20141158uScbVxhNTE.png

其中它有使用到這個EVA的LoRA:
https://ithelp.ithome.com.tw/upload/images/20230925/20141158kglK2hEf9O.png
另外要特別注意旁邊的說明會有註明Trigger Words。

我按照同樣設定的結果:
https://ithelp.ithome.com.tw/upload/images/20230925/20141158f6lQsYHq2I.png
LoRA只用EVA:
https://ithelp.ithome.com.tw/upload/images/20230925/201411584BD7NIfOBG.png
不用LoRA:
https://ithelp.ithome.com.tw/upload/images/20230925/201411584U9RcpbB5v.png

我照著好幾張的設定跑出來的成果都相差甚遠,這部分我還在研究,雖然品質還不錯。


上一篇
Day8_術式反轉
下一篇
Day10_素胚勾勒出青花 筆鋒濃轉淡 瓶身描繪的牡丹 一如妳初妝
系列文
AI音樂表演通識課,百聞不如自己動手做看看30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言