歌曲怎麼去人聲？AI 人聲分離的原理、模型怎麼選、為什麼會有殘音

舊方法：左右聲道相減

早期軟體的「去人聲」功能大多用相位抵消：把立體聲的左聲道減掉右聲道。流行歌在混音時，主唱通常放在正中間，左右兩邊的訊號幾乎一樣，一相減就消失了；而吉他、鍵盤這些常被放在偏左或偏右的樂器，相減之後還會留下來。

• 鼓的大鼓、貝斯通常也放在正中間，會跟人聲一起被減掉，伴奏聽起來又薄又空。
• 結果變成單聲道，失去立體感。
• 人聲加了立體聲的殘響或和聲時，那些左右不同的部分減不掉，會留下一層空洞的回音。
• 單聲道的錄音（老歌、現場錄音）完全沒有效果，因為左右本來就一樣，相減之後什麼都不剩。

這種方法的優點是幾乎不用運算、幾秒就好。站上的 KTV伴唱字幕大師 也保留了類似的「簡易去人聲」，壓低放在正中間的人聲頻段，給急用、不想下載模型的情況使用。

AI 分離：在頻譜上一格一格判斷

AI 人聲分離的做法完全不同。程式先把音訊切成很短的時間片段，每一段再拆成數千個頻率，得到一張「頻譜圖」：橫軸是時間、縱軸是頻率、亮度是能量。人聲在頻譜上有它特有的樣子，例如明顯的諧波紋路、子音的高頻噪聲、跟著歌詞起伏的音高曲線。

模型看過大量「混好的歌」與「分開的人聲、伴奏」的配對資料，學會對頻譜上的每一格判斷：這裡的能量有多少屬於人聲、多少屬於伴奏。把屬於伴奏的部分保留下來、轉回聲音，就是去人聲的伴奏；反過來就是乾淨的人聲。

站上的人聲分離用的是 MDX-Net 架構的模型。MDX-Net 出自韓國高麗大學團隊（KUIELab），在 2021 年索尼舉辦的 Music Demixing Challenge 拿到前幾名，後來被開源社群的 Ultimate Vocal Remover（UVR）採用，並用大量資料訓練出許多專門的模型。這些模型在你的瀏覽器裡執行，音樂檔案不會上傳。

殘音從哪裡來

分離不是把錄音拆回原本的音軌——混音時那些聲音已經疊在一起了，模型只能「估」每一格各佔多少。只要人聲和樂器在同一個時間、同一個頻率都有能量，模型就得猜，猜錯的部分就是殘音。

三個模型怎麼選

同一首歌換一個模型，結果常常有明顯差別。如果伴奏裡的殘音讓你在意，最快的方法就是三個模型都試一次、挑最好的那一個。做伴唱帶時，「保留和聲」常常比較自然：主唱拿掉了，副歌的和聲還在，唱起來比較有原曲的感覺。

執行速度主要看電腦有沒有 WebGPU（電腦版 Chrome、Edge 通常有）。有的話，四分鐘的歌常見是一兩分鐘分完；只有 CPU 的話會慢十倍左右。模型第一次使用要下載，之後瀏覽器會留著。

要存成什麼格式

• M4A（AAC 256 kbps）：檔案大約是 WAV 的十分之一，手機、剪輯軟體、社群平台都讀得到。拿來練唱、當影片配樂就選這個。
• WAV：無損，檔案大。要再進混音軟體調整、或要再處理一次（例如再降噪）就選這個，避免重複壓縮造成音質損失。

分離過程中，模型使用 44.1 kHz 的取樣率處理。如果原始檔是 48 kHz（影片常見），程式會先轉換再處理，聽感上不會有差別。

版權：分得出來不代表能隨意使用

把別人的歌分離出伴奏，本身就是在重製那首歌的錄音。自己在家練唱、學習編曲，通常不會有問題；但把分離出來的伴奏或人聲公開上傳、拿去做商業用途、在公開場合播放，就涉及著作權法上的重製、公開傳輸與公開演出等權利，需要權利人的授權。

台灣著作權法判斷是否屬於合理使用，會綜合考量利用的目的（商業或非營利）、著作的性質、使用的份量，以及對原著作市場的影響。一整首歌的伴奏拿去公開使用，份量與市場影響都很大，很難主張合理使用。實際情況請以主管機關的解釋或專業意見為準。

常見問題

分出來的人聲可以拿來做翻唱嗎？

技術上可以拿來當參考或做混音練習。但人聲同樣受著作權保護（包含錄音與表演），公開發布前要取得授權。

影片可以直接丟進去嗎？

可以。MP4、MOV、MKV、WebM 會自動抽出音訊再分離，不必先轉檔。

可以分出鼓、貝斯、吉他嗎？

站上的工具只分成人聲與伴奏兩條。要分更多樂器需要四軌以上的模型，運算量也大很多。

為什麼分出來的伴奏音量好像變小了？

原曲裡人聲佔了相當一部分的能量，拿掉之後整體響度自然會降低。需要的話，在剪輯軟體裡把音量拉回來即可。