探索虛擬試衣間技術：IDM-VTON

在前幾篇文章中，我們探討了如何將物件 3D 化，以及AI 潮流下的圖像合成趨勢。在眾多技術分支的探索中，人物與衣著的影像合成已是合成圖像效果相當不錯的一個領域。今天，我們將介紹這個領域中效果非常好的模型 IDM-VTON (Improved Diffusion Models for Virtual Try-ON)，它能將服裝圖像逼真地「穿」到人物身上，未來有可能為電商平台帶來革命性的購物體驗。

什麼是 IDM-VTON？

Virtual try-on (VTON)，即為虛擬試衣間的概念，除了我們今天要討論的 IDM-VTON 外，這個領域內的其他模型也會取類似的名字，如：VITON3、VITON-HD910、CP-VTON8、LaDI-VTON5、DCI-VTON2、StableVITON4等，所以未來模型推陳出新時，我們也能一眼知道它的用途。

今天要介紹的主角IDM-VTON，他是一種基於擴散模型 (Diffusion Models) 的虛擬試衣技術。它可以將服裝圖像和人物圖像作為輸入，生成人物穿上該服裝的效果圖。以效果來說還算不錯，目前 Youtube 上已有不少結合 ComfyUI 的實作影片，整合出了方便好用的視覺化影像處理流水線 (如：Youtbute)。

IDM-VTON 如何運作？

IDM-VTON 主要由三個部分組成：

1. TryonNet: 處理人物圖像的基本 UNet 模型，它會接收四個輸入：
   • 人物圖像的潛在向量
   • 去除服裝後的人物圖像遮罩
   • 被遮罩的人物圖像的潛在向量
   • 人物姿勢資訊的潛在向量
2. 圖像提示適配器 (IP-Adapter): 提取服裝圖像的高級語義信息，例如服裝的款式、顏色等。
3. 服裝 UNet 特徵編碼器 (GarmentNet): 提取服裝圖像的低級特徵，例如紋理、圖案等。

這些特徵會被融合到 TryonNet 中，並通過交叉注意力層進行處理，最終生成虛擬試穿圖像。過這些模型的合作，IDM-VTON 可以生成非常接近真實的試穿效果。

IDM-VTON 的優勢 (官方說法)

相較於其他的虛擬試衣技術，IDM-VTON 在以下幾個方面具有優勢：

• 真實感強: IDM-VTON 生成的虛擬試穿圖像非常逼真，能夠很好地還原服裝的細節和紋理。
• 適用性廣: IDM-VTON 可以處理各種不同類型的人物圖像和服裝圖像，包括複雜的圖案和多樣的姿勢。
• 可定制化: IDM-VTON 可以根據用戶的需求進行定制，例如調整服裝的尺寸、顏色等。

效果測試

這邊我們就用他的專案 (GitHub) 跑看看效果，同時由於我們沒有需要立即訓練這個模型，所以看 GitHub 上「Start a local gradio demo」的部分即可。如果你看完覺得麻煩，不想自己搭，也可以用他的 Demo 頁面 (Huggingface)。

1. 從專案提供的 Demo 服裝試試，發現效果還不錯：

2. 再來試試其他服裝：

   • 我們先用前面幾天提到的 Segment Anything 從公司的新制服的宣傳片裡取幾個樣本來試試：

     

   • 效果還算不錯，但你會發現由於每次輸入的服裝圖例只有 1 張，有些模型不知道的細節他就只能瞎掰，同時如果未來要做影片中的人物服裝置換，應該有很多衣服上的細節會出現肉眼可辨的違和感。

     

     

     

     

可能的應用場景與挑戰

這項技術在未來的電商平台上有著巨大的潛力：

• 線上試衣: 消費者可以在購物時，利用虛擬試衣技術來提前看到衣服穿在自己身上的樣子，大大提升購買信心。
• 設計模擬: 服裝設計師也可以用 IDM-VTON 來快速預覽不同設計的效果，讓設計過程更加高效。
• 虛擬模特: 品牌還能運用這項技術來創建虛擬模特，節省拍攝實體模特的時間和成本。

當然，這項技術也面臨一些挑戰：

• 細節真實感: 雖然效果相當不錯，但在複雜的布料或特定姿勢下，有時生成的圖像仍可能看起來不太自然。
• 運算資源: 要生成高品質的圖像，往往需要大量計算資源，這可能會限制它的普及。

總結

IDM-VTON 作為一種先進的虛擬試衣技術，它不僅能讓線上購物更加生動真實，還能為設計師和品牌提供新的創意空間。隨著技術不斷進步，相信虛擬試衣間將在未來的購物體驗中扮演越來越重要的角色。

撰文者: Winston