在生成式 AI 的眾多應用中，音樂與聲音生成 是一個兼具藝術性與技術性的領域。與文本或圖像不同，聲音具有連續性與時間依賴性，因此生成模型必須同時捕捉 頻率特徵 與 時間序列結構。隨著深度學習技術的進步，AI 已經能夠創作旋律、模擬人聲，甚至生成具有情感表達的完整音樂作品。

早期方法

在早期，研究者多使用 馬可夫鏈（Markov Chain） 或 RNN / LSTM 來生成旋律與節奏。這些方法能夠捕捉音符的序列關係，但在長距離依賴與複雜和聲上表現有限，生成音樂往往缺乏整體結構。

深度生成模型的崛起

隨著生成式模型的發展，音樂生成進入了新階段：

• WaveNet (2016, DeepMind)

  基於卷積神經網路（CNN）的聲音生成模型，能夠合成自然語音與高品質音樂。

• MuseNet (OpenAI)

  使用 Transformer 架構，能生成多樂器、多風格的樂曲。

• Jukebox (OpenAI)

  能生成包含人聲的音樂，甚至模仿特定歌手的聲音與風格。

這些模型能夠結合 音符表示（Symbolic Representation） 與 原始波形（Raw Audio），使得生成的音樂更具層次感與真實性。

聲音生成的應用

除了音樂，聲音生成在許多領域都有應用：

• 語音合成（TTS, Text-to-Speech）：如 Google 的 Tacotron、VALL-E，可將文字轉換為自然語音。

• 遊戲與電影音效：自動生成環境聲或特殊音效，提升沉浸感。

• 輔助工具：協助身障人士透過 AI 語音進行交流。

展望

未來的音樂與聲音生成不僅追求「真實感」，更強調 互動性與創造性。音樂人可能與 AI 合作，共同完成作品；教育與娛樂領域也能透過 AI 生成的聲音，提供更具沉浸式的體驗。