iT邦幫忙

2026 iThome 鐵人賽

DAY 29
1

到目前為止,我們已經讓 AI 分身學會與我們有關的不少事情:它了解我的背景、偏好,知道我平常怎麼表達想法與行事風格,也慢慢學會我的工作方法,甚至能使用各種我本人平常就在用的工具幫我完成任務。

做到這裡,這個 AI 工作分身已經能替我產出有我風格的文章、企劃、簡報等工作成果。但我突然想試著再前進一步-如果今天我想拍一支影片,向大家分享我最近的一些想法心得,能不能連「出鏡與講話」這件事,也交給我的分身?

換句話說,我只要準備好一段文字稿,接著就有一個長得跟我一樣、使用我的聲音的「人」,直接對著鏡頭把內容講出來。好處是我不需要架相機、調燈光,也不用因為講錯話、吃螺絲就得重新錄製。

這就是這篇想要嘗試的事情:讓 AI 分身擁有我的聲音與肖像,製作出一支彷彿由我本人出鏡的影片。

這次我會使用 DomoAI 來示範實作。不過,在開始操作之前,我們先了解一下,現在的 AI 數位化身到底是怎麼做出來的。

AI 數位化身是怎麼做出來的?

所謂的 AI 數位化身(AI Avatar),就是透過 AI 技術建立一個虛擬的人物形象,讓它可以出現在圖片、影片,甚至即時互動的畫面中。

如果希望這個數位化身能夠開口說話,通常需要處理兩件事情:

  • 聲音:讓 AI 可以使用指定的聲音,講出我們提供的文字。
  • 影像:讓人物的嘴型、表情與動作配合聲音,生成自然的說話影片。

以聲音來說,常見的技術是聲音複製(Voice Cloning)與文字轉語音(Text-to-Speech,簡稱 TTS)。

聲音複製是透過一段錄音,讓 AI 學習這個人的聲音特徵;文字轉語音則是把輸入的文字轉換成語音。當兩者搭配使用,我們就能讓 AI 用接近自己聲音的方式,讀出原本沒有錄製過的句子。

有了聲音,接下來就要讓數位化身的嘴型和表情動起來。這類技術常會使用唇形同步(Lip Sync),讓嘴巴的開合動作盡量符合語音內容,再透過影像生成模型補上表情與肢體動作。

https://ithelp.ithome.com.tw/upload/images/20261013/201055282EwJevIrz7.jpg
你可以把它想成拍攝一支口播影片。講稿決定要說什麼,聲音決定聽起來像誰,人物影像則決定觀眾看到的是誰。這幾個環節其實可以分開製作,最後再組合成影片。

但如果希望影片中的人物連姿勢、手勢和習慣動作都像本人,事情就沒那麼簡單了。

三種常見的 AI 數位化身製作方式

目前常見的做法,可以先從以下三種實現路線來理解。

製作方式 優點 缺點
單張照片驅動 操作門檻低:只要一張照片,搭配語音就能產生說話影片 動作和表情主要由 AI 推測,手勢、肢體動作不一定像本人
參考影片驅動/AI 影片換角 能參考原影片的人物姿勢、動作與表情,適合需要特定「演出效果」的影片 需要準備動作參考影片;如果使用的是別人的影片,保留的就會是對方的動作習慣而不是你的
多張照片建立專屬角色,再用角色 ID 生成影片 能重複穩定地使用同一個角色,在不同服裝、背景與鏡頭下維持較一致的外貌 需要準備較多照片,肢體動作也未必像本人

第一種是這篇要使用的方法。像 DomoAI 的「數位化身(Talking Avatar)」,只要上傳一張人像照片,再提供語音,就能讓照片裡的人開始說話。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528ubltUTxVbT.jpg
第二種可以參考 Higgsfield 的 Video Face Swap,或 DomoAI 的「角色轉影片(Character to Video)」。例如,先拍攝一段真人對著鏡頭講話、揮手的影片,再利用 AI 把影片中的人物替換成指定角色。這種方式能沿用原始影片的動作,比較容易控制人物的姿勢。但如果參考的是別人的影片,動作也不會因此變成你自己的習慣。

第三種的代表工具是 Higgsfield 的 Soul ID。它可以利用同一個人的多張照片建立可重複使用的角色模型,讓之後生成的不同圖片或影片,盡量維持相同的長相。依照目前官方的操作說明,需要準備至少 20 張照片,最多可上傳 80 張。不過,Soul ID 主要解決的是角色外貌一致性的問題,要讓角色開口說話,仍然需要搭配語音與影片生成工具。

這三種技術並不互斥,也可以搭配使用。

如果只是希望自己的照片能夠開口說話,第一種就已經足夠;如果希望 AI 分身出現在各種不同的情境,甚至有特定的動作和表演,再考慮其他做法就好。

這次我們先從最容易上手的方式開始:用一張自己的照片,加上自己的聲音,完成第一支 AI 分身影片。

實作一:先讓 AI 學會我的聲音

首先處理聲音的部分,我們先來鳥瞰整個過程:

https://ithelp.ithome.com.tw/upload/images/20261013/20105528YyCYUFHza8.jpg
這次我會使用的是 DomoAI 的文字轉語音(Text to Speech) 功能。它除了提供平台內建的聲音,也支援錄製或上傳自己的聲音樣本,建立之後可以重複使用的個人聲音。

步驟 1:新增自己的聲音

進入 DomoAI 網站並登入帳號後,在「AI 影片」功能上方的選單中,切換到「文字轉語音」。

接著,在「選擇一個語音」的選單裡,可以看到平台提供的各種聲音,以及「新增自己的語音」功能。點選後,就能開始建立自己的聲音。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528B1Sg6nFxow.jpg

步驟 2:錄製自己的聲音樣本

點選「新增自己的語音」後,系統會先要求替這個聲音命名,例如「我的分身語音_測試用」,方便日後辨識。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528bFTrjEuYrX.jpg
接著可以選擇兩種方式提供聲音樣本:

  1. 立即錄音:直接透過網站麥克風,朗讀系統指定的文字。
  2. 上傳音訊檔案:使用自己事先準備好的錄音素材。

這次我選擇「立即錄音」。

進入錄音畫面後,先選擇語言,例如「中文」。系統會提供一段指定文字,只要按下「開始錄音」,照著畫面自然朗讀即可。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528ZDg2NhMheL.jpg
DomoAI 建議使用至少 10 秒、清晰且沒有明顯雜音的聲音樣本。錄音時可以注意幾個地方:

  • 盡量在安靜的環境錄製,避免背景音樂或其他人的聲音。
  • 使用平常自然的說話方式,不需要刻意改變音調。
  • 保持穩定的音量和麥克風距離,避免忽大忽小。

完成錄音後,依照介面指示儲存,剛才命名的個人聲音就會出現在語音清單中,之後可以重複選擇使用。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528PoRlVXCVZr.jpg

步驟 3:輸入文字,讓 AI 用我的聲音朗讀

有了個人聲音,接下來就可以體驗文字轉語音了。

回到 Text to Speech 介面,在語音選單中選擇剛才建立的聲音,接著把希望 AI 朗讀的內容貼到「文字腳本」欄位。

這次我拿了一段已經準備好的講稿來測試。

整個操作很簡單,只需要選擇聲音、輸入如下文字

大腦其實很好騙,但你得先懂它怎麼運作。你有想過為什麼走進電影院,你會自然而然壓低說話的聲音?並沒有人強迫你,但是空間的氛圍讓你知道現在應該要怎麼行動。一樣的道理,走進健身房,即使再懶,你也很難直接躺平。大腦就是會讀取環境給予的訊號,然後切換對應的模式。

接著按下「生成」,就能產生一段使用我個人聲音的語音。

介面也可以調整語速,實際使用時可嘗試把速度調快,比較接近平常講話的節奏。生成按鈕同時會顯示需要消耗的點數,按下之前記得確認。

https://ithelp.ithome.com.tw/upload/images/20261013/201055285xHHK5MBlr.jpg
生成完成後,先把聲音播放一次。除了聽音色像不像自己,也可以注意中文發音、語速、停頓,以及語氣是否自然。如果某些句子聽起來怪怪的,可以嘗試調整文字中的標點符號、句子長度或語速,再重新生成。

確認可以使用後,就把語音檔下載下來。

做到這裡,我們已經有一段使用自己聲音、卻不需要自己逐字錄製的旁白。接下來,還得要讓這段聲音有一張可以對上的「臉」。

實作二:讓照片裡的我開口說話

聲音準備好後,緊接著開始製作數位化身影片。一樣,我們先掌握主要的大流程如下:

https://ithelp.ithome.com.tw/upload/images/20261013/20105528j80OkzzBWE.jpg
這次使用 DomoAI 的數位化身(Talking Avatar) 功能,讓 AI 根據我們提供的照片、語音與動作描述,生成一段人物對著鏡頭說話的影片。

步驟 1:準備一張自己的照片

回到 DomoAI 的「AI 影片」,從上方選單切換到「數位化身」。

在畫面左上方,可以看到圖片或影片的上傳區。雖然這個功能也支援其他影像輸入方式,但這次我們使用的是一張靜態照片。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528Cnf7RYfrOG.jpg
照片的選擇其實滿重要的。因為 AI 需要從照片裡辨識臉部特徵,並產生對應的嘴型與表情。

我會建議優先選擇正面或接近正面的照片,臉部清楚、光線正常,嘴巴不要被遮住。如果希望生成的影片能看到上半身的手勢,照片最好也包含適當的肩膀與身體畫面。

如果一開始就提供側臉、人物太小或五官不清楚的照片,生成時可能比較容易出現不自然的嘴型與臉部動作。

步驟 2:上傳剛才產生的語音檔

照片上傳後,接下來要決定影片的聲音來源。

從介面中可以看到三種方式:

  1. 直接錄音:透過網站麥克風錄製希望數位化身說的內容。
  2. 上傳音訊檔案:使用事先錄製或由其他工具生成的語音檔。
  3. 文字轉語音:直接輸入文字,再選擇聲音讓系統產生語音。

這三種方式各有適用情況。如果想完整保留自己當下的語氣與情緒,直接錄音會比較容易掌握;如果之前已有準備好旁白錄音訊檔,直接上傳就不需要重新錄製。

而這次我們採用的是第二種:上傳音訊檔案。

因為前面已經透過 DomoAI 的 TTS,建立個人聲音並產生了一段語音,所以這裡只要把剛才下載的音檔上傳即可。

《R森小叮嚀》

我特別喜歡這種將聲音與影像分開製作的方式。未來如果覺得 DomoAI 產生的聲音不夠像,也可以換成其他專門處理語音的工具製作音檔,再交給 DomoAI 生成影片,不需要整套流程重新來過。

步驟 3:設定數位化身的動作與表情

除了照片和語音之外,數位化身功能還有一個「提示詞(Prompt)」欄位。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528pTqPotjYi8.jpg
這裡要注意,它要求輸入的是人物的動作或表情,並非要朗讀的講稿。因為說話的內容已經包含在我們上傳的語音檔裡,這個欄位的用途,是告訴 AI 人物說話時應該怎麼表現。

例如,這次我希望分身像平常分享事情那樣,自然地對著鏡頭說話,因此輸入:

主角自然地對著鏡頭說話

如果想進一步控制,也可以加入一些動作描述,例如自然眨眼、輕微點頭、面帶微笑,或保持穩定的眼神接觸。

不過,我會建議剛開始先使用比較單純的動作。畢竟 AI 只有看過這一張照片,並不知道我平常說話時習慣怎麼動手、怎麼轉頭。如果一次要求太多複雜的肢體動作,反而可能讓畫面變得不自然。

以下就是我所下的提示詞中,動作與演出物件太複雜,導致手勢怪異、貓出現的不自然的反面案例,給大家參考。(羞)

Yes
*小提醒:此為 youtube 連結,可按 右鍵 -> 在新分頁中開啟連結 觀看

步驟 4:生成 AI 分身影片

照片、音訊和動作提示詞都準備好後,就可以設定影片的畫面比例與生成長度。如果是直式社群短影音,可以選擇 9:16;如果想製作橫式影片,可以使用 16:9。這次的操作畫面則是選擇 4:3。

另外,記得留意音訊與影片的長度是否相符。例如音訊有 23 秒,但影片生成長度只設定 20 秒,就需要特別檢查影片結尾是否完整,必要時調整設定或音訊內容。

確認生成所需的點數後,就可以按下「生成」,等待 AI 完成影片。

生成結束後,播放影片檢查聲音、嘴型與動作。如果結果符合預期,就可以下載使用。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528mx2xT6es7c.jpg
到這裡,我們已經完成了一支由 AI 分身出鏡、使用自己聲音說話的影片。

做出來的 AI 分身,真的有多像我?

影片完成後,接下來就來看看成果。

Yes
*小提醒:此為 youtube 連結,可按 右鍵 -> 在新分頁中開啟連結 觀看

實際示範下來,我覺得有一個地方值得分享,就是聲音的品質。

DomoAI 本身主要是一個 AI 影像與影片生成平台,雖然也提供聲音複製和文字轉語音的功能,但畢竟不是專門做 AI 聲音的工具。

這次我只需要提供幾十秒的錄音,就能讓它快速建立一個跟自己聲音相似的模型。操作上確實很方便,但實際生成語音時,有些句子的音色、發音或語氣,還是會出現一些奇怪的地方,聽起來不太像平常的自己。

如果你對聲音的還原程度有更高要求,我認為可以考慮把聲音和影片分開製作。

例如 ElevenLabs 這類專門處理 AI 語音的工具,除了提供快速聲音複製(Instant Voice Cloning),也有專業聲音複製(Professional Voice Cloning)。後者可以使用更多錄音資料進行模型調整,官方建議準備至少 30 分鐘、理想情況下約 2~3 小時的高品質錄音,讓模型有更多機會學到個人聲音的細節。

這種方式有機會產生更接近本人的聲音,但也需要花更多時間準備素材,實際效果仍然要看錄音品質與模型表現。

換句話說,我們可以先用 ElevenLabs 建立自己的聲音模型,利用 TTS 產生旁白,再把完成的音檔上傳到 DomoAI,讓數位化身開口說話。

至於影像的部分,這次使用單張照片生成,AI 可以讓人物對著鏡頭說話,嘴型和表情也能隨著語音變化。但因為它沒有真正學過我平常的動作習慣,因此有些表情、手勢或身體動作,還是會帶有一點 AI 味的感覺。

例如,有些人習慣講到重點時抬起手,有些人會不自覺歪頭思考,也有人說話時幾乎不做什麼手勢。這些屬於個人的肢體表達習慣,只提供一張照片,AI 自然很難完全掌握。

所以,如果要問我這個 AI 分身,從聲音、語氣、表情到說話時的動作,整體究竟有多像本尊?

我大概會評價給它 87 分像。

如果只是想快速製作一段 AI 分身口播影片,我認為像是 DomoAI 這種整合式工具已經很方便。但如果希望聲音、外貌和動作都更接近本人,就可以考慮使用不同工具,各自處理自己最擅長的部分。

《R森小叮嚀》

由於聲音和肖像都具有高度的個人辨識性,最好只使用自己的素材,或取得當事人明確授權的照片與錄音,並確認平台對資料的使用方式。影片公開發布時,也應適當告知為 AI 生成的內容,避免造成誤解。

進階整合:我很懶,能不能直接一句話叫 Hermes 生出我的分身影片?

前面我們是自己打開 DomoAI 自己來完成聲音與影片生成。

但如果你還記得前面幾篇介紹過的 API、MCP 和 Tools,應該就能想到另一種可能:既然 AI Agent 已經會使用外部工具,能不能連生成影片這件事也交給 Agent?

例如,未來我只要在 Hermes Agent 裡輸入:

把這段文字製作成一支 10 秒的口播影片,使用我的聲音和肖像,動作誇張、熱情。

"""(貼上文字稿)"""

當然可以,工作流大致會是這樣:

Agent 將文字稿,透過已串接的文字轉語音服務(例如 ElevenLabs 或 DomoAI),產生使用我個人聲音的音訊。

→ 取得音訊之後,再呼叫影片生成工具(例如 DomoAI 或 Higgsfield),把語音與個人肖像生成出口播影片

→ 完成後,直接把最終影片成果回傳給我

目前像 DomoAI 已經提供 API,可以透過程式傳入影像、音訊和動作提示詞,建立影片生成任務。

另一個例子是 Higgsfield,它有提供官方的 MCP,讓支援 MCP 的 AI Agent 可以使用外部影像、影片與音訊生成能力。至於 Hermes Agent,Higgsfield 官方目前也提供透過 CLI 與 Skills 進行整合的方式。

https://ithelp.ithome.com.tw/upload/images/20261013/20105528IxMIgq1YBs.jpg
由於篇幅限制,這部分先不展開。大家只要知道,當 AI Agent 已經能呼叫這些外部工具,就有機會把今天的手動製作流程,進一步變成只需要一句話就能啟動的工作流程。

對這個有興趣的朋友們,可再深入學習 Higgsfield MCP 官方說明,以及 DomoAI Talking Avatar API 文件。

今天完成了「表達的最後一哩路」:只需給口播稿,AI 分身能夠替你出鏡

這段期限,我們已經花了不少心力,讓 AI 分身逐漸了解我的背景、熟悉我的表達習慣、學會我的工作方法,也開始能夠使用工具替我完成事情。

而這篇,我們又讓 AI 分身多了一種新的「具象化對外表達」的形式:

原本我的分身只能透過文字、文件或簡報呈現我的內容成果;現在則是能夠將內容轉變成一段使用我的聲音、我的肖像,直接對著鏡頭說話的影片,完全不用本尊出鏡。

對我來說,這件事很有意思。因為未來有些不一定需要我們本人出鏡的內容,像是簡單的心得分享、產品功能說明,或某些重複性高的口播影片,就有機會讓 AI 分身協助製作,省下不少時間。

當然,也不能因此認為分身已經完全變成另一個我:聲音可以模擬,外貌可以生成,但背後的內容是否正確、觀點是否真的代表我,以及適不適合對外發布,仍然需要由我自己判斷。

至此,我們終於讓這個原本只存在於電腦中、沒有「形體」的 AI 工作分身,進一步擁有了「具象表達」的能力:它能夠用我的聲音與外貌,向其他人傳達自己的任何想法。


上一篇
Day 28|當 MCP/API 不能用,如何讓 AI 分身直接「操作」我的電腦做事
下一篇
Day 30|打造出 AI 工作分身之後-這 30 天的回顧與總結
系列文
要是有另一個我來幫我就好了:30 天把 AI Agent 訓練成我的工作分身 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
Leodaddy
iT邦新手 2 級 ‧ 2026-10-14 08:32:02

實用好文可以省了很多事情,也讓TA有種驚艷感!

Rson iT邦新手 3 級 ‧ 2026-10-15 00:12:31 檢舉

有了 Avator 虛擬人加持後, I 人們從此之後可恥度全開 (誤)

我要留言

立即登入留言