iT邦幫忙

2023 iThome 鐵人賽

DAY 14
0

繼續回來ControlNet的OpenPose,這是個博大精深功能,除了前天說到的身體骨架外,也能細部控制手型和臉部表情,今天先來試手的部分。

首先先安裝OpenPose editor,它在Extensions的Available裡有,可以找"OpenPose Editor tab",然後按install。如它的名稱,它可以拉動骨架,重塑身型。
然後再安裝Depth Lib,它可用來控制手部動作,雖然Available裡面有一個,但參考教學文安裝這個https://github.com/jexom/sd-webui-depth-lib

如果有仔細看昨天最後一系列的例子,可以注意到人物的手怪怪的,就拿這個來試。
首先到OpenPose Editor,在設定完解析度後,可以點選Detect from image,則會同時有背景與骨架圖,然後再拉節點成想要的動作,
https://ithelp.ithome.com.tw/upload/images/20230929/20141158nnDQmujdNs.png
結果可以存成JSON或是PNG,也可以傳至txt2img或是img2img。但我無法使用它的load JSON,選擇檔案後沒反應,此外在存成PNG時,我原本設定的解析度是512x768,但存出的骨架圖是1024x1536。

然後再到Depth Library,同樣在設定完解析度後,可以匯入背景圖,例如剛存好的骨架圖,然後可以選擇下方手型的圖庫再按Add,可以調整大小、旋轉角度,也可以拉至翻面就是左手變成右手。
https://ithelp.ithome.com.tw/upload/images/20230929/20141158jK0aviXxxw.png
結果只能存成PNG,或是選擇送至ControlNet,這邊的ControlNet會到txt2img的。而存成PNG同樣有解析度兩倍的情況。

然後回到txt2img,使用原圖的設定,而在新版的ControlNet預設有3個,開兩個enable,然後把骨架圖和手勢圖丟進去,preprocessor選none,model選擇openpose對應的。生成結果如下,姿勢符合預期,手勢有點落差,但還可以接受,但人物和場景都換了。
https://ithelp.ithome.com.tw/upload/images/20230929/20141158hsRp8xER1m.png

而換成img2img,如果只用ControlNet如上同樣的方式無法更動原圖,搭配inpaint只能局部換掉手形,但我覺得效果不好,inpaint處會有模糊的不協調感。目前試不出一步換姿勢的方式,還需要再研究。


上一篇
Day12_妳的輪廓和我目光的去向
下一篇
Day14_芭比或是無敵鐵金剛
系列文
AI音樂表演通識課,百聞不如自己動手做看看30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言