AI 노이즈 캔슬링 원리, 신경망이 음성을 보호하는 방법

AI 노이즈 캔슬링 원리: 신경망이 마이크에서 귀까지 신호를 정제하는 방법

신경망이 작은 오디오 프레임(보통 10~40밀리초)에서 음성과 노이즈를 구분한 뒤 음성만 통과시킨다는 게 기본 원리다. 여기까지는 간단하다. 하지만 실시간 통화에서 충분히 빠르게 작동하면서도 목소리를 로봇처럼 만들지 않는 엔지니어링, 그리고 도구마다 다른 아키텍처의 선택 기준은 훨씬 복잡하다. 이 글에서는 신호 체인을 프레임 단위로 분해하고, 실제로 마주치는 세 가지 아키텍처(RNNoise, DeepFilterNet, Krisp)를 비교하며, 이 기술이 여전히 실패하는 지점을 짚어본다.

마이크에서 청취자 귀까지: 실제로 일어나는 일

마이크가 하나의 연속 파형을 포착한다 , 당신의 목소리, 냉장고 윙윙거림, 옆집 잔디깎기, 기계식 키보드 클릭음, 모두가 섞인 신호다. 노이즈 제거 모델은 각 음원을 따로 식별하고 뺀다고 생각하기 쉽지만, 실제로는 그렇지 않다. 대신 프레임 단위로 주파수 대역별 게인 마스크(사실상 각 주파수 영역의 볼륨 노브)를 추정한 뒤 출력 전에 적용한다.

기존 노이즈 게이트는 고정 임계값을 쓴다: X dB 아래면 음소거. AI 기반 노이즈 제거는 이 고정 규칙을 수천 시간의 청결한 음성과 노이즈가 섞인 음성 쌍으로 훈련한 모델로 대체한다. 모델은 음정, 발음, 녹음 환경에 걸쳐 음성의 패턴을 학습하고, 정적 컷오프 대신 그 패턴을 실시간으로 적용한다.

실제 결과는 이렇다: 고정 임계값은 조용한 음성 중에 노이즈를 통과시키거나 단어 끝을 자른다. 훈련된 모델은 프레임당, 주파수 대역별로 게인을 조정하므로 정상적이지 않은 노이즈(배경의 다른 목소리, 개 짖음, 문을 닫는 소리)에도 기존 게이트보다 훨씬 잘 견딘다.

프레임 단위 루프: 모델이 음성과 노이즈를 구분하는 방법

프로세스를 단순화하면 이렇다: 프레임을 캡처하고, 특징을 추출(보통 스펙트로그램 , 주파수 콘텐츠가 원본 음량보다 음성과 노이즈를 더 잘 분리한다)하고, 모델을 실행하고, 각 주파수 대역당 게인값을 얻고, 이를 적용하고, 프레임을 출력한다. 프레임 크기에 따라 초당 25~100회 반복한다.

이 영역에서 두 가지 아키텍처 계열이 주도한다. RNNoise 안의 GRU(Gated Recurrent Unit) 같은 재귀 네트워크는 오디오를 순차적으로 처리하고 최근 프레임의 메모리를 유지한다 , 목소리가 사라지는 것 같은 시간적 패턴에 도움이 된다. 합성곱 접근법은 스펙트로그램에서 직접 공간적 특징을 추출한다(CNN이 이미지를 다루는 방식에 가깝다). 보통 명시적으로 훈련하지 않은 노이즈 종류에도 더 잘 일반화된다.

세션 노트: 대부분 무시하는 지점은 프레임 크기다. 짧은 프레임(10ms)은 낮은 지연시간이지만 모델이 판단할 컨텍스트가 적다. 긴 프레임(20~40ms)은 모델에게 더 많은 정보를 주므로 보통 더 깨끗한 출력을 내지만, 실시간 통화에서 지연으로 느껴진다.

그 트레이드오프(프레임 크기 vs 지연 vs 품질)가 모든 노이즈 제거 도구의 전체 설계 공간이다. 누구도 벗어날 수 없다. 다른 점은 각 제품이 어디에 위치하는지다.

RNNoise vs DeepFilterNet vs Krisp: 같은 문제, 세 가지 다른 선택

RNNoise는 대부분 인용하는 오픈소스 기준선이다. 전통 신호 처리를 컴팩트한 GRU 네트워크와 짝지어, 10밀리초 프레임에서 22개 주파수 대역의 게인을 예측한다. 모델 파일은 수백 킬로바이트, 단일 CPU 코어에서 편하게 실행되고, WebAssembly로 브라우저 사용을 위해 컴파일된다. 정상적인 노이즈(선풍기, HVAC 윙윙거림, 하드드라이브 회전음)에는 탁월하지만, 주파수 대역당 하나의 게인이라는 구조는 더 어려운 경우에 나이를 드러낸다 , 배경의 겹친 음성, 갑작스런 소음, 심한 반향음.

DeepFilterNet은 두 단계 접근법을 취한다: 첫 번째 단계에서 지각적으로 배치된 대역의 게인을 적용하고, 두 번째 단계에서는 대략 5kHz 이하 주파수에서 짧은 다중 프레임 필터를 실행해 단순 게인 마스크만으로는 잃을 음성 디테일을 복구한다. 측정 가능하게 주파수 대역별 게인만 있는 방식을 앞지르며, 오픈소스 옵션 중 품질 최고봉이다. 하지만 거기 도달하려면 더 많은 계산량이 필요하다 , 랩톱 CPU 스레드에서 실시간 계수(RTF) 0.19, Raspberry Pi 4에서 0.42 대비 RNNoise의 훨씬 가벼운 발자국. 추가 지연시간은 40ms 정도다.

Krisp는 온디바이스 고유 아키텍처를 구동하며 10밀리초 프레임으로 처리하고, 전체 모델에서 대략 25ms 추가 지연시간이 나온다(가벼운 음성 격리 변형은 15ms). 내부 설계는 공개되지 않지만 제품 트레이드오프는 분명하다: Windows, macOS, Linux, Android, iOS, 브라우저 간 크로스플랫폼 일관성, 서버 왕복 없음 , 지연시간만큼 개인정보 보호도 중요하다. 이 숫자가 왜 중요한지 맥락: ITU-T G.114는 통화가 자연스럽게 느껴지려면 총 편도(one-way) 입에서 귀까지 지연을 150ms 이하로 유지하도록 권장한다. 이 세 옵션 중 가장 느린 것도 통화가 지연된다고 느껴지기 전에 충분한 여유를 남긴다.

양방향 필터링이 판을 바꾸는 이유

대부분 내장 노이즈 제거(노트북 OS나 화상 통화 앱에 박혀 있는)는 나가는 마이크 신호만 정제한다. 통화의 다른 참가자에게서 들어오는 노이즈는 처리하지 않는다. 양방향 필터링은 마이크를 떠나기 전에 정제하고, 스피커에 들어오기 전의 들어오는 오디오도 정제한다.

그 차이는 대부분의 설명이 주는 것보다 훨씬 크다. 원격 인터뷰를 녹음하거나 공항 라운지에서 전화하는 손님과 팟캐스트 세션을 진행한다면, 한 방향 제거는 절반의 문제만 푼다. 당신의 신호는 깨끗해지지만 손님의 배경 노이즈는 여전히 남아 있고, 녹음에 구워지거나 라이브에서 분리할 깨끗한 방법이 없다. 양방향 처리는 들어오는 노이즈를 녹음에 구워지기 전에 잡는다.

AI 노이즈 캔슬링이 여전히 실패하는 지점

음악, 주변 필드 녹음, 유지하고 싶은 음성이 아닌 지속적 콘텐츠가 포함된 소스 자료에서 공격적인 설정을 피해야 한다. 이 모델들은 음성 격리용으로 훈련되고, 다른 것은 모두 노이즈로 취급되어 제거된다 , 악기, 편집용으로 유지하고 싶을 수 있는 룸톤, 제작자가 보통 유지할 공동 진행자의 먼 배경 웃음까지.

겹친 음성은 여전히 가장 어려운 경우다. 두 사람이 동시에 말할 때, DeepFilterNet의 두 단계 접근법도 깨끗하게 분리하기 어렵다 , 모델이 프레임별 게인값을 고르지, 개별 화자를 식별하지 않기 때문이다. 워크플로우가 크로스토크를 집는 복수 마이크를 포함한다면, 마이크 레벨의 음원 분리(물리적 거리, 방향성 픽업 패턴)가 여전히 후처리 모델이 고칠 수 있는 것을 이긴다.

공격성에도 실제 한계가 있다. 노이즈의 90%를 제거하면서 목소리가 인간처럼 들리는 제거기가 99%를 제거하고 양철 통을 통해 말하는 목소리를 남기는 것을 이긴다. 이 모델들을 편안한 작동 범위를 넘기면 인공음이 나타난다 , 마찰음에서 물 아래 같은 음질, 또는 숨소리가 단어 중간에 끊긴다. 억제 후 녹음이 전보다 나빠 보이면 과했다 , 다이얼을 낮춰라. 맨 위에 두 번째 패스를 겹치지 마.

AI 노이즈 캔슬링 vs 전통 ANC: 경쟁자가 아니라 다른 도구

액티브 노이즈 캔슬링(ANC) , 헤드폰에 있는 그것 , 은 완전히 다른 문제이며, 둘이 자꾸 헷갈리므로 분명히 구분할 가치가 있다. ANC는 반대 파형을 생성해 귀에 도달하기 전에 들어오는 주변 노이즈를 물리적으로 상쇄한다 , 1970년대로 거슬러 올라가는 순수 음향, 하드웨어 종속 프로세스로 엔진 윙윙거림 같은 정상적, 저주파 음성에 최고다. 모델 추론 루프가 없으므로 거의 즉시 반응한다.

AI 노이즈 제거는 다른 문제를 푼다: 송신이나 녹음용 음성 신호 정제, ANC가 결코 다루지 않도록 설계되지 않은 고주파, 비정상적 음원(음성과 잡담)에 작동한다. 하나는 당신 귀에 무엇이 도달하는지에 관해서고, 다른 하나는 다른 모두 귀에 무엇이 도달하는지에 관해서다. 좋은 원격 설정은 보통 둘 다 쓴다: ANC 헤드폰이 당신 쪽을 차단하고, AI 억제가 나가는 마이크 피드를 정제한다.

다음 통화 전: 실제로 확인할 가치가 있는 것

무엇이든 중요한 것에 의존하기 전에 빠른 테스트를 해 보자: 억제를 켜고 한 샘플을 녹음한 뒤 그것 없이 하나를 녹음하고, 노트북 스피커가 아니라 헤드폰으로 재생한다. 두 가지를 구체적으로 확인해라: 마찰음(s, sh, f 소리)이 워블 없이 견디는지, 그리고 조용하게 끝날 때 문장 끝이 잘리는지. 그 두 실패 모드가 다른 무엇보다 먼저 나타난다.

예산이 빡빡하거나 CPU 제약 기기에 있다면, RNNoise의 WASM 빌드는 정상적 배경 노이즈에 합법적인 무료 옵션이다. 가장 깨끗한 오픈소스 결과가 필요하고 계산 여유가 있다면, DeepFilterNet의 두 단계 필터링이 추가 지연시간값이 있다. 당신이 접하는 모든 플랫폼에서 같은 방식으로 작동하고, 서버 왕복 없고, 구성할 모델이 없으면, 이미 사용 중인 무엇이든 아래서 실행하는 Krisp 같은 상용 층이 케이스다.

이 중 아무것도 나쁜 마이크 배치나 딱딱한 반사 표면이 있는 방을 고쳐주지 않는다. 억제는 수선 단계지, 음원 취급 대체는 아니다. 캡처에서 신호를 올바르게 얻고 모델은 할 일이 적다 , 거기서 깨끗한 출력이 실제로 시작한다.