노래에서 보컬 추출하기: 4가지 방법 비교

노래에서 보컬 추출은 한 가지 동작으로 끝납니다. 완성된 믹스를 Demucs 같은 AI 스템 분리기에 넣고, 두 스템(보컬과 반주) 출력을 고른 뒤 무손실 WAV로 내보내면 됩니다. 시작 파일은 스트리밍용 MP3가 아니라 WAV나 FLAC이어야 합니다. 2분 안에 쓸 만한 아카펠라를 얻을 수 있지만, 잔향 꼬리와 하이햇 누출은 손으로 정리해야 합니다.

이것이 짧은 답입니다. 나머지 가이드에서는 작업마다 어떤 방법이 맞는지, 각 방법이 무엇을 남기는지, 그리고 결과물이 목적에 충분하지 않은 경우를 다룹니다.

어떤 방법이 쓸 만한 보컬을 주고, 어떤 방법이 오후를 날리나?

네 가지 방법이 있고, 품질 차이는 생각보다 큽니다. 아래는 조밀한 팝 믹스에서 직접 테스트한 결과를 최하위에서 최상위 순으로 정리한 것입니다.

위상 상쇄(Audacity의 '반전 후 믹스' 기법)는 리드 보컬이 정중앙에 있고 반주 버전을 가지고 있을 때만 작동합니다. 반주가 없으면 얇고 속이 빈 소리가 납니다. 반주 스템을 직접 가진 경우가 아니라면 건너뛰세요.

EQ와 스펙트럼 편집으로 1~4kHz를 올리고 100Hz 아래를 깎으면 보컬이 앞으로 나와 들립니다. 하지만 이것은 분리가 아니라 믹스 기법입니다. 기타와 스네어가 여전히 같은 대역에 남아 있습니다.

센터 채널 추출(예전의 '보컬 리무버' 플러그인들)은 같은 아이디어를 더 나은 인터페이스로 감싼 것입니다. 스테레오로 넓힌 보컬 더블이나 잔향이 많은 곡에서는 실패합니다.

AI 스템 분리는 보컬을 독립된 소스로 다루는 유일한 방법입니다. 수천 개의 멀티트랙 세션으로 학습한 신경망이 보컬과 나머지를 예측한 뒤 빼 냅니다. 대부분의 경우 이 방법이 필요합니다.

세션 노트: 레이블이 실제 멀티트랙이나 공식 아카펠라를 보내 준다면 그것을 쓰세요. 분리는 스템이 없을 때의 대안입니다.

Demucs로 보컬을 분리하는 4단계

Demucs는 Meta 연구팀이 만든 오픈소스 모델이며, 대부분의 분리 서비스가 내부에서 사용합니다. 하이브리드 트랜스포머 버전은 추가 학습 데이터를 썼을 때 MUSDB 벤치마크에서 9.20 dB의 신호 대 왜곡비(SDR)를 기록했습니다. 자세한 내용은 Hybrid Transformers for Music Source Separation 논문에 나와 있습니다. SDR이 높을수록 보컬에 섞인 악기 소리가 적고 보컬 손상도 적습니다.

작업 흐름은 네 단계입니다.

1. 가능한 가장 좋은 원본 파일을 준비하세요. 16비트/44.1kHz WAV나 FLAC은 128kbps MP3보다 항상 낫습니다. 손실 압축이 이미 자음을 찾는 데 쓰이는 고주파 정보를 뭉개 놓았기 때문입니다.

2. pip으로 Demucs를 로컬에 설치하거나, 이를 감싼 브라우저 도구를 쓰세요. 로컬 실행은 파일이 외부로 나가지 않고 곡당 비용도 들지 않습니다.

3. 두 스템 명령을 실행하세요: demucs --two-stems=vocals your-song.wav. 처음 실행하면 모델 가중치를 내려받는데, 수백 MB 정도입니다.

4. 출력 폴더를 여세요. vocals.wav와 no_vocals.wav가 나옵니다. 둘 다 DAW에 넣고 샘플 0에 맞춰 정렬한 뒤, 두 파일을 더했을 때 원본이 재현되는지 확인하세요.

최신 노트북 CPU에서 4분짜리 곡은 대략 1~3분이 걸립니다. GPU를 쓰면 몇 초로 줄어듭니다. 파인튜닝된 htdemucs_ft 변형은 약 네 배 느리지만 보컬이 조금 더 깨끗합니다. 발매하거나 클론에 쓸 결과물이라면 이 버전을 쓰세요.

분리된 보컬에 여전히 남는 문제

실제 결과물이 어떻게 들리는지 보겠습니다. 보컬 스템만 솔로로 들어 보면 세 가지 아티팩트가 반복해서 나타납니다.

잔향 꼬리가 잘립니다. 모델은 건조한(dry) 보컬은 남기지만 공간감 대부분을 버립니다. 그래서 프레이즈 끝이 갑자기 끊깁니다. 잔향 10~15% wet 수준의 짧은 컨볼루션 리버브를 걸면 다시 이어집니다.

하이햇과 치찰음이 자리를 바꿉니다. 810kHz 부근의 심벌 에너지가 보컬로 새어 들어오고, 실제 's' 소리 일부는 빠져나갑니다. 68kHz 디에서(de-esser)와 약한 다이내믹 EQ 컷이면 대부분 해결됩니다.

백킹 보컬과 더블이 엉뚱한 스템으로 갑니다. 모델은 어떤 목소리가 리드인지 알 수 없습니다. 여러 겹으로 쌓인 코러스는 하나로 뭉개진 보컬이 됩니다.

결과가 깨끗하다고 말하는 사람은 믿지 마세요. 분리는 추정이지, 원본 트랙을 복원한 것이 아닙니다.

설정과 원본 파일이 결과를 실제로 바꾸나?

네, 그리고 도구 선택보다 더 크게 바뀝니다. 세 가지가 결과를 좌우합니다.

원본 품질이 가장 먼저입니다. 같은 곡을 무손실 파일과 저비트레이트 MP3로 각각 분리해 보세요. 두 보컬 스템을 널 테스트로 비교하면 차이가 드러납니다. MP3 쪽은 파열음 주변에서 들리는 프리에코가 있습니다.

모델 선택이 두 번째입니다. 파인튜닝된 Demucs 변형과 최신 밴드 분할 모델은 속도를 조금 내주는 대신 아티팩트를 줄입니다. Deezer의 Spleeter는 빠르고 가볍지만, 편곡이 복잡한 곡에서는 보컬이 더 평평하게 들립니다.

오버랩과 시프트 설정이 세 번째입니다. 기본값인 0.25 오버랩을 높이고 2~5회의 랜덤 '시프트'를 주면 경계 아티팩트가 평균화되지만, 처리 시간이 늘어납니다. 최종 출력이라면 둘 다 올리세요.

분리한 보컬을 음성 클로닝 샘플로 쓸 수 있나?

독자들이 가장 많이 묻는 질문입니다. 짧게 답하면, 허락을 받았을 때만 가능하고 원래 품질에 가까워지는 경우는 드뭅니다.

분리된 보컬로 학습한 클론은 그 아티팩트를 그대로 물려받습니다. 잘린 잔향 꼬리와 치찰음 누출은 생성된 음성에서 이상한 숨소리나 혀 짧은 발음으로 나타납니다. 대부분의 클로닝 서비스는 음악이 깔리지 않은, 마이크에 가까이 녹음된 건조한 음성을 30초에서 3분 정도 원합니다. 분리된 곡의 보컬은 노래하고, 가공되고, 리버브가 걸린 소리이므로 정반대입니다.

법적 조건도 그만큼 엄격합니다. 상업 녹음은 저작권으로 보호되고, 가수의 목소리는 국가에 따라 인격권이나 퍼블리시티권으로 보호될 수 있습니다. 공개된 트랙에서 가수를 허락 없이 클로닝하는 것은 규제 당국이 규칙을 만들고 있는 사용 사례입니다. 출시하는 클론에는 본인 녹음이나 동의한 연주자의 목소리만 쓰세요.

분리가 실제로 도움이 되는 곳은 본인 자료를 정리할 때입니다. 배경 음악이 깔린 인터뷰나 백킹 트랙이 함께 재생된 음성 메모를 녹음했다면, 샘플을 업로드하기 전에 분리를 거쳐 더 깨끗한 출발점을 얻을 수 있습니다.

AI 분리를 아예 건너뛰어야 할 때

실제 스템을 구할 수 있다면 건너뛰세요. 많은 아티스트가 리믹스 공모전용으로 스템을 공개하고, 밴드캠프 같은 스토어에서 공식 아카펠라를 팔기도 합니다. 실제 스템에는 아티팩트가 전혀 없습니다.

법정이나 증거 관련 작업에는 쓰지 마세요. 분리된 보컬은 모델의 추측이며, 그럴듯해 보이지만 없는 디테일을 만들어 낼 수 있습니다.

보컬이 믹스의 다른 악기와 같은 음색을 가진 경우도 건너뛰세요. 예를 들어 신스 라인을 더블링하는 단독 가수가 그렇습니다. 신경망은 둘을 섞인 채로 돌려줍니다.

연습용 트랙, 라이선스를 확보할 예정인 리믹스 샘플, 가라오케 스템, 또는 본인 녹음을 다듬는 작업이라면 충분히 가치가 있습니다.

추출한 보컬을 정리하는 순서

스템은 완성곡이 아니라 거친 바운스처럼 다루세요. 우리가 모든 추출 작업에 쓰는 순서입니다.

먼저 80Hz 하이패스 필터로 킥 누출을 제거하세요. 보컬은 그 아래에서 쓸모 있는 정보가 거의 없고, 모델은 종종 희미한 저음 쿵 소리를 남깁니다.

다음으로 누출 대역에 스펙트럼 복구 도구나 다이내믹 EQ를 쓰세요. 하이햇 누출은 8~10kHz 부근에, 스네어 누출은 200Hz와 4kHz 부근에 있습니다. 문제가 되는 타격이 울리는 동안에만 깎아서, 보컬이 타격 사이의 공기감을 유지하게 하세요.

그다음 68kHz에 디에서를 걸고, 꼬리를 되살리기 위해 플레이트 리버브를 살짝 얹고, 모델의 신뢰도가 바뀌는 지점에서 생기는 레벨 차이를 고르게 하도록 2:1 비율의 가벼운 컴프레서를 씁니다. 여기서의 변화는 작게 하세요. 13dB의 게인 감소면 충분합니다.

마지막으로 라우드니스를 확인하세요. 분리된 보컬은 보통 원본 믹스보다 6~10dB 작게 나오므로, 다른 것과 비교하기 전에 노멀라이즈하세요.

세션 노트: 항상 헤드폰과 스피커 양쪽으로 스템을 확인하세요. 스피커에서는 사라지는 아티팩트가 헤드폰에서는 드러납니다.

분리 결과가 충분히 좋은가? 5분이면 두 가지를 확인할 수 있습니다. 첫째, 널 테스트입니다. 두 스템을 더한 합의 위상을 원본과 반대로 뒤집었을 때, 충실하게 분리된 경우에는 매우 작은 잔여 신호만 남습니다. 둘째, 솔로 테스트입니다. 보컬만 중간 볼륨으로 들으면서 어디서 흔들리는지(워블) 적어 두세요. 그 지점은 어떤 리믹스에서도 드러납니다.

워블이 코러스에만 있다면 오버랩을 높여 다시 돌리거나, 해당 구간만 따로 분리하세요. 전체에 걸쳐 있다면 원본 파일이나 편곡이 한계이며, 어떤 설정으로도 고쳐지지 않습니다.

모든 작업에 명령줄이 필요하지는 않습니다. 작업에 맞는 도구를 고르세요.

본인 음성 녹음을 일괄 정리한다면, 트랜스크립트 기반 편집기가 배경 음악까지 함께 제거해 주므로 스템 분리보다 빠릅니다.

깨끗한 말소리로 클로닝 샘플을 만든다면, 건조한 오디오를 30초에서 몇 분 받고 커밋 전에 품질을 보고해 주는 서비스를 쓰세요.

다음 세션 전에 할 일

워크플로를 확정하기 전에 테스트를 한 번 해 보세요. 직접 가진 곡 하나를 htdemucs_ft로 분리하고, 두 스템을 다시 더하세요. 원본과 널 테스트했을 때 잔여 신호가 약 -40dB 아래라면, 대부분의 작업에 충분할 만큼 충실하게 분리된 것입니다.

그다음 알려진 세 가지 문제를 순서대로 고치세요. 짧은 리버브를 추가하고, 6~8kHz 부근을 디에서하고, 어떤 더블을 남길지 정하세요. 10분이면 보컬이 '명백히 추출된 소리'에서 믹스에 쓸 만한 소리로 바뀝니다.

마지막으로, 본인 오디오를 정리하는 일과 다른 사람의 목소리를 빌리는 일 사이의 선을 분명히 지키세요. 전자는 워크플로이고, 후자는 라이선스가 필요합니다.