iT邦幫忙

2023 iThome 鐵人賽

DAY 14
0
自我挑戰組

人生AI下半場系列 第 14

Day14 - 生成式老婆 : 訓練自己的聲音模型 VITS

  • 分享至 

  • xImage
  •  

今天,我們將介紹如何使用 VITS 來訓練自己的聲音模型。VITS 是一個由 Google AI 開發的開源語音合成模型,它可以用來生成具有逼真人聲的語音。

要訓練自己的聲音模型,我們需要準備以下材料:

一個錄音設備,可以錄製高品質的聲音。
一個電腦,具備足夠的處理能力。
一個 VITS 模型。
首先,我們需要錄製一些自己的聲音。這些聲音可以是任何你想說的話,但最好是清晰、流暢的語言。錄製時,要注意保持背景噪音的最低限度。

錄製完成後,我們需要將聲音文件轉換為 WAV 格式。WAV 格式是一種無損壓縮格式,可以保留聲音的所有原始品質。

接下來,我們可以使用 VITS 模型來訓練我們的聲音模型。我們可以使用 Google Colab 等雲端機器學習平台來進行訓練。

在 Colab 中,我們可以使用以下命令來下載 VITS 模型:

!git clone https://github.com/Plachtaa/VITS-fast-fine-tuning
下載完成後,我們可以使用以下命令來開始訓練:

!python3 train.py --model vits_small --data your_voice.wav
這條命令將使用 VITS_small 模型來訓練我們的聲音模型。訓練過程可能需要幾個小時。

訓練完成後,我們就可以使用我們的聲音模型來生成語音了。我們可以使用以下命令來生成語音:

!python3 generate.py --model vits_small --text "This is my voice."
這條命令將生成以下語音:

This is my voice.
我們可以通過調整參數來控制生成的語音的音調、語速和音量。

以下是一些訓練 VITS 聲音模型的提示:

錄製的聲音越多,訓練效果越好。
錄製的聲音越清晰、流暢,生成的語音越逼真。
使用高品質的錄音設備可以獲得更好的效果。

Colab線上程式碼

https://colab.research.google.com/drive/1pn1xnFfdLK63gVXDwV4zCXfVeo8c-I-0?usp=sharing

參考資料:
https://geekaz.net/ai-voice-simulating-for-podcast/#t-1693053472191

https://www.youtube.com/watch?v=riYOD_EFKDE


後來找到的比較完整的線上程式python腳本
https://colab.research.google.com/drive/16XqyiQTZ9fabIRFrO6RDHcxjYzWSaQkn?usp=sharing


上一篇
Day13 - 生成式老婆 : 有了聲音要對嘴
下一篇
Day15-生成式老婆: 身體 VRoid Studio 虛擬Body
系列文
人生AI下半場30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
arguskao
iT邦新手 3 級 ‧ 2023-09-16 13:04:19

最後就變成自己專屬的聲音模型了嗎

我要留言

立即登入留言