今日事項：大概了解圖像生成概念中的 LoRA、ControNET 是什麼。

如果文章對你有幫助的話，歡迎按讚或留言，讓我知道我不是一個人在這裡碎碎念（？），我會很感謝的❤️

這邊的內容主要擷取自之前的文章 **Day6 LoRA？Control Net？VAE？來講講AI繪圖中的各種參數和專業術語** 如果除了今天講的概念，還想了解模型、參數設定、TensorArt 的功能，歡迎點進去了解~

然後如果發現今天的內容跟那篇文章有非常多近似的地方，不是巧合，問就是我懶得寫……

LoRA（Low-Rank Adaption of LLMs）

主要的用處是對大模型高校微調，原理是餵給他們相似風格的圖片，生成相似影像，檔案相對基礎模型也較小。

講簡單點，LoRA就像是對大模型出來的圖片另外套上了一個「圖層」，之後將兩者合併，最後生成的圖片就會局限在所使用LoRA的風格。所以在套上LoRA後，可以自己調LoRA的參數，越高表示和LoRA中風格結合的越多。

基礎模型只有一個，但可以搭配多個LoRA。

Control Net

Control Net是一種增強技術，主要運用了Conditional Generative Adversarial Networks（條件生成對抗網路）的技術，透過引入額外的引導資料，比如圖像標記（annotation）、文字描述，在原先圖片生成的基礎上添加了「控制」的機制，讓使用者在生成圖片的時候可以讓模型更理解自己的需求，生成符合自己預期的內容。

可以控制的方面有下列幾種：

1. **線稿類：**透過給予邊界或參考圖，控制生成圖片的形狀或結構，比如圖片中物品的空間、人物的固定姿勢等等。Tensor Art中的Canny、Scribble等就屬於此類，前者比較針對物體邊緣的提取，用於強調物體輪廓或形狀時；後者則可以很好的去處理手繪塗鴉等的複雜紋理。
2. **色塊類：**同樣也是捕捉參考圖，但不是關注邊緣，而是整體色塊。Deepth模型就是此種類型，可以從色塊中捕捉物體的深度，讓整個圖片的呈現更加立體。
3. **精細控制類：**根據參考圖片的內容進行更仔細的修整。比如Tensor Art中的Tile、Openpose兩個都屬於此類，Tile可以將圖片變的更加清晰，對細節處理也更精細，Openpose則是可以捕捉參考圖中的人物動作與姿勢，生成相應角度和位置的圖片。
4. **對圖片微調：**這是一個比較特別的分類，像其中的Reference-only，就是一種，這是一種預處理器（preprocessor），可以識別圖片中的人物或場景，比如給他一個女生坐在桌前的圖片，給他提示詞「一個女孩在吃飯」，他就會給你一張女孩坐在桌前吃飯的圖片。
5. **風格轉換：**根據參考圖片生成風格相似的圖片。

VAE（Variable Auto Encoder）

在LoRA下方可以看到有一個VAE的選項，就像是一個「濾鏡」，可以增進圖像的顏色，或是修復手部、面部的瑕疵。本身因為只對比較少的空間進行處理，所以花費的時間會比較小。

LoRA、ControlNet、VAE 三者的差異與搭配

• LoRA 負責 風格/主題
• ControlNet 負責 結構/姿勢/內容控制
• VAE 負責 顏色與細節修復

Day19 總結

因為第一天就有說了，這次的內容主要是簡單了解，不用理解太深，所以就只要知道常用的這三個的概念就可以了。

至於如果想要再了解更多繪畫相關概念的，可以去我之前寫的文章 **Day6 LoRA？Control Net？VAE？來講講AI繪圖中的各種參數和專業術語** 了解更多！