iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

AI Voice Conversion 系列

目前正在做的事情是嘗試把一個人的聲音轉換成另一個人的聲音,現在做到使用 AUTO-VC 轉換,未來正在實驗自己的 Model ( 目前用的是 Tramsformer ) 這個過程遇到了不少問題,因此想要紀錄一下,也跟大家分享。

鐵人鍊成 | 共 30 篇文章 | 13 人訂閱 訂閱系列文 RSS系列文
DAY 11

【Day11】 AutoVC 簡介

AutoVC 框架 AUTOVC 就是由上圖三個 model 所組成, 內容編碼器 Ec(·) 產生從語音中嵌入的內容。 語者編碼器 Es(·) 產生從語...

2021-09-11 ‧ 由 Rorschach 分享
DAY 12

【Day12】 AutoVC 實作 Pytorch 篇 - 1

本次實驗參考範例來自於官方 Repo,更正了裡面的一些小 Bug 及更改最後的 Vocoder。 Part 1 - 準備資料 VCTK dataset 解壓縮後...

2021-09-12 ‧ 由 Rorschach 分享
DAY 13

【Day13】 AutoVC 實作 Pytorch 篇 - 2

銜接昨日 Part 5 - AutoVC 這部分我們暫時先參考官網 model_vc.py 即可 Part6 - 製作 Solver 把官網 solver_en...

2021-09-13 ‧ 由 Rorschach 分享
DAY 14

【Day14】 Pytorch 轉 Tensorflow

Part1 - Function 我們從幾個常用的操作開始吧! 型態操作 # random np array - shape = 1,2,2 test =...

2021-09-14 ‧ 由 Rorschach 分享
DAY 15

【Day15】AutoVC 實作 - Tensorflow 篇

資料前處理部分跟 Pytorch 篇一樣,就不重複寫了,這邊只寫 model 跟 Training 部分。 後來發現 keras 的 BatchNormali...

2021-09-15 ‧ 由 Rorschach 分享
DAY 16

【Day16】音樂生成,我是要生成什麼?

音樂的解 大約在去年的時候,接觸了 GAN 之後再加上專題的需要,想說來就來試試看生成音樂吧,但很快的我就陷入了茫然。 啊我是要生成什麼? 一首歌嗎? 還...

2021-09-16 ‧ 由 Rorschach 分享
DAY 17

【Day17】音樂與自然語言處理的奇妙關聯

音樂與自然語言 昨天我們有提到,我們想要生的是像小星星這樣子古典鋼琴音樂,像這樣子的音樂音色是固定,音高也是有限範圍內的排列組合,所以重要的訊息並不會是這段...

2021-09-17 ‧ 由 Rorschach 分享
DAY 18

【Day18】在 Python 裡頭利用 Mido 進行編曲

Message in MIDI 書接昨日,在 MIDI 裡面有固定的格式在記錄聲音的訊號,因為實在是太多了我們不會一一舉例,這邊只說明幾個常用到的,完整的官方文...

2021-09-18 ‧ 由 Rorschach 分享
DAY 19

【Day19】 用 4 種不同的 GAN 模型生成音樂簡介

前言 接下來的時間我們會試著用 4 種不同的 GAN 模型來生成音樂。 更改的部分只有 Generator 與 Discriminator,訓練方法與 los...

2021-09-19 ‧ 由 Rorschach 分享
DAY 20

【Day20】 WavenetGan, BidirectionalLSTMGAN, WaveGan 鋼琴音樂生成

因為之後想花一點時間分享一下 Transformer 閱讀跟實作的經驗,所以這篇就沒寫 Transformer 的部分,但它生成的音樂還是會貼在下方跟大家分...

2021-09-20 ‧ 由 Rorschach 分享