iT邦幫忙

2026 iThome 鐵人賽

DAY 17
0
Vibe Coding

重新認識Github Copilot (續)系列 第 17 篇

Day17 - Vibe Coding Part1 : 用 Azure AI Service 把中文影片變成英文版

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20261001/20103333iMm9aSBRFG.png
今天筆者要來挑戰一件以前就很想做、但以前做起來效果沒有很理想的事情:把自己的中文 YouTube 影片,轉成英文版。這篇不是直接進入完整程式實作,而是先帶大家看清楚這個服務能做到什麼程度、輸出什麼檔案。

筆者以前大約四、五年前就曾經嘗試過類似的題目,那時候主要靠 Machine Learning 模型處理語音與翻譯,效果嘛……只能說有做出來,但距離「真的可以拿去用」還有一段距離。

現在有了 Generative AI、Speech-to-Text、Text-to-Speech,再加上語音翻譯模型,整個體驗已經完全不同。筆者這次想做的事情很單純:把原本用中文錄製的教學影片,轉成英文版本,讓不懂中文的觀眾也能看懂。

🧭 Azure AI Playground:先看服務地圖
先進入 ai.azure.com,在 Microsoft Foundry 裡面找到 Playgrounds。這裡有 Chat、Video、Images、Audio、Speech、Language 等不同的 AI 功能,算是微軟把各種服務集中展示的入口。

https://ithelp.ithome.com.tw/upload/images/20261001/201033337LeVijv3WA.jpg

Microsoft AI Playground:各種服務集中在同一個入口。
一開始筆者也直覺以為影片翻譯應該會放在 Video 裡面,結果找了半天才發現,真正的功能是在 Speech Playground 裡面,名稱叫做 Video translation。

https://ithelp.ithome.com.tw/upload/images/20261001/20103333LQCk2akJkX.jpg

它不是單純把字幕翻譯出來而已,而是可以針對影片進行語音轉換,包含語音辨識、翻譯、配音,以及字幕檔輸出。流程看起來很複雜,但 Playground 已經幫忙把介面包好了,對第一次驗證概念的人非常友善。

🎬 先用西班牙文範例看看效果
在正式上傳自己的影片以前,筆者先用微軟提供的範例測試。原始影片是西班牙文,目標語言設定成英文,翻譯結果會重新產生英文語音與字幕。

https://ithelp.ithome.com.tw/upload/images/20261001/201033335Yg7ZclOof.jpg

選擇翻譯語言與聲音類型。
筆者實際聽完後,第一個感覺是:聲音真的很像原本的講者。這不是只把文字翻譯成英文,再用一個很制式的機器人聲音念出來,而是可以使用 Personal voice,讓輸出的聲音保留原本講者的特色。

🎙️ Personal voice 是什麼?
如果使用者提供自己的聲音檔,服務可以建立對應的聲音模型,之後翻譯成其他語言時,就能用接近原本聲音特質的方式重新配音。這個功能很吸引人,不過筆者這次的重點是先驗證 Video translation,所以沒有在本篇深入處理聲音模型訓練。

🧪 實際上傳筆者自己的中文影片
接著筆者把自己的影片上傳,來源語言設定為 Chinese (Taiwanese Mandarin),目標語言設定為 English。這時候就可以看到 Azure 開始處理影片內容,包含辨識語音、翻譯文字、重新產生英文配音與字幕。

https://ithelp.ithome.com.tw/upload/images/20261001/20103333LoJ3D8Yhjq.jpg

上傳自己的中文影片,開始進行 Video translation。
先說結論:整體效果筆者覺得非常不錯,尤其是它會把字幕切出來,讓筆者可以逐段比對原文與英文翻譯。這一點在實務上非常實用,因為影片翻譯最怕的不是「完全不能用」,而是「看起來很像對,但其實差一點」。

翻譯後的英文影片與字幕呈現。
⚠️ AI 翻譯不是萬能,八、九成之後還是要人工檢查
筆者特別要強調:AI 確實可以完成八、九成的工作,但剩下那一成,往往就是最需要人工處理的地方。

https://ithelp.ithome.com.tw/upload/images/20261001/20103333IWOsfI53F8.jpg

翻譯結果可以逐段檢視與修正。
例如有些句子會被翻得不完整,或是口語表達、專有名詞、上下文語意沒有完全抓到。尤其筆者的影片常常會出現 Azure、Power Platform、API、授權這些技術名詞,AI 如果翻錯一個字,觀眾可能就從「聽不懂」直接進化成「學錯」了。

https://ithelp.ithome.com.tw/upload/images/20261001/20103333PwDkZhTIO5.jpg

更多功能 Demo,請參考完整版影片囉

🧠 本日結論:AI 翻譯效果很好,但不是 100 分保證班
目前效果已經足以支援大量初稿工作,但技術名詞、語意與完整性仍然要人工複查。AI 是很強的助手,不是可以把責任全部丟給它的替身。

字幕與 JSON 才是後續自動化的關鍵
如果只看影片,可能覺得「翻完就好了」。但真正要做成可維護的應用程式,字幕檔與 JSON 才是可以拿來修改、比對、儲存與串接其他流程的重要資料。

整體來說,Azure AI Video translation 已經很接近筆者的需求了,看來有機會把鐵人賽的影片都轉成英文版/images/emoticon/emoticon01.gif


上一篇
Day16 - 從 Prompt 到 Context再到Harness 與 Loop Engineering,讓 AI 寫程式不再靠運氣[]~( ̄▽ ̄)~*
系列文
重新認識Github Copilot (續) 共 17 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言