AIノイズキャンセリング 仕組みを完全解説

AIノイズキャンセリング 仕組みを完全解説

AIノイズキャンセリングはどのように機能するのか。ニューラルネットワークが10～40ミリ秒単位の小さなオーディオフレームで処理を行い、各フレームについて信号のどの部分が音声でどの部分がノイズかを予測。その後、音声のみを通す。概念的にはこれが全てだが、ライブ通話に対応する速度を実現しながら、音声をロボット音にしない工学が、各ツール間の実際の違いを生み出す。本記事では、信号チェーンをフレーム単位で解説し、実際に運用されている3つのアーキテクチャ(RNNoise、DeepFilterNet、Krisp)を比較。さらにこのテクノロジーが対応できない領域も詳しく解説します。

マイクから相手の耳に到達するまでの信号処理

コンデンサーマイクは連続した波形を捉えます。あなたの声、冷蔵庫のハム音、隣人のリーフブロワー、メカニカルキーボードのクリック音 - すべてが単一の信号にミックスされている。ノイズ抑制モデルは、これらのソースを個別に識別して減算しようとはしません。代わりに、フレーム単位で動作し、ゲインマスク(本質的に周波数帯域ごとのボリュームつまみ)を推定。出力前にそれを適用します。

従来のノイズゲートは固定閾値を使います。X dB以下ならミュート。AIベースの抑制は、この固定ルールを、数千時間のクリーンとノイズのペアになったオーディオで訓練されたモデルで置き換えます。ピッチ、アクセント、録音条件全体で音声がどのように見えるかを学習します。リアルタイムで固定カットオフの代わりにそのパターンを適用するわけです。

実用的な結果は明確です。固定閾値は静寂中の音声ではノイズを通す、あるいは言葉の末尾を切り落とします。訓練されたモデルは周波数帯域ごとにフレーム単位でゲインを適応させます。だから、定常ノイズではない背景の話し声、犬の吠える音、ドアのスラム音に対して、従来のゲートより良く対応できる。

フレーム単位のループ--モデルが音声とノイズを判別する仕組み

ループを部品に分解しましょう。フレーム1つをキャプチャ。特徴を抽出(通常、スペクトログラム - 周波数コンテンツは生の振幅より音声と大部分のノイズをより良く分離できるため)。モデルを実行。周波数帯域ごとのゲイン値を得る。それを適用。フレームを出力。繰り返し。フレームサイズに応じて毎秒25～100回実行されます。

2つのアーキテクチャが現在この領域を支配しています。RNNoiseの中核となるGRU(ゲートリカレントユニット)のような再帰型ネットワークは、オーディオを連続的に処理し、直近フレームのメモリを保持します。これは音声が消えるようなテンポラルパターンに役立ちます。畳み込みアプローチはスペクトログラムから直接空間特徴を抽出。画像を扱うCNNに近く、明示的に訓練されていないノイズタイプ全体で汎化できる傾向があります。

セッション注記：フレームサイズは実際にほとんどの人が無視するレバーです。短いフレーム(10ms)は低レイテンシをもたらしますが、モデルが処理するコンテキストは少なくなります。長いフレーム(20-40ms)はモデルが推論する内容をより増やしますが、直接的なコストは遅延 - ライブ通話でラグとして聞こえるコスト - になります。

このトレードオフ--フレームサイズ対レイテンシ対品質--が全てのノイズキャンセリングツールが動作する設計空間全体です。誰も逃げられません。違うのは、各製品がどこにポジショニングするかです。

RNNoise vs DeepFilterNet vs Krisp--同じ問題、3つの異なるトレードオフ

RNNoiseはほとんどの人が引用するオープンソースのベースラインです。従来の信号処理をコンパクトなGRUネットワークと組み合わせ、10ミリ秒フレームから22周波数帯域のゲインを予測します。モデルファイルは数百キロバイト、単一CPUコアで快適に実行。WebAssemblyにコンパイルしてブラウザ使用も可能。定常ノイズ(ファン、HVAC、ハードドライブ音)に優れますが、その単一ゲイン/帯域設計は厳しいケースでその年代を示します - 背景の重複した音声、急激なクラッター、強い残響など。

DeepFilterNetは2段階アプローチを採用。最初のパス: 知覚的に間隔を置いた帯域のゲインを適用。2番目の段階: およそ5 kHz以下の周波数で短い複数フレームフィルターを実行。単純なゲインマスクでは失われる音声詳細を再構成します。オープンソース内でバンドゲインのみの方法を測定可能に上回る、品質のリーダー。ですが、そこに到達するにはより多くのコンピューティングが必要: ラップトップCPUスレッドで0.19の実時間係数、Raspberry Pi 4で0.42。RNNoiseのより軽いフットプリント(単一コアで数ミリ秒未満)と比べて。追加レイテンシは約40msになります。

Krispは10ミリ秒フレームで処理、プロプライエタリアーキテクチャをオンデバイスで実行。完全モデルで約25msの追加レイテンシ(軽いボイスアイソレーション変種で15ms)。内部設計は公開されていませんが、製品トレードオフは明確です - Windows、macOS、Linux、Android、iOS、ブラウザ全体でクロスプラットフォーム一貫性。ゼロサーバー往復 - プライバシー面と同じくレイテンシ面で重要。コンテキスト：これらの数字が重要な理由 - ITU-T G.114は、会話が自然に感じるために総一方向口から耳の遅延を150ms以下に保つことを推奨。これら3つで最も遅いオプションでさえ、通話が遅くなる前に十分なヘッドルームを残しています。

双方向フィルタリングがこのゲームを変える理由

組み込みのノイズ抑制 - ラップトップOSやビデオ通話アプリに組み込まれているもの - は通常、あなたの発信マイク信号のみをクリーンアップします。通話の他の参加者から到達するノイズには何もしません。Krispドキュメンテーションこの技術について説明: 両方向フィルタリング。あなたのマイク、出発前に。そして到達する前に受信オーディオ。

この区別は、ほとんどの解説が与えるよりずっと重要です。リモートインタビューを録音している、ポッドキャストセッションをゲストが空港ラウンジから参加して実行している場合、一方向抑制は問題の半分だけを解決します。あなた自身の信号をクリーンアップして、彼らの背景ノイズにも対処する必要があります - ポスト制作で、あるいはさらに悪く、ライブで、それを分離するクリーンな方法なく。双方向処理は、到達する前に受信ノイズを捉えます。

AIノイズキャンセリングはまだ対応できない領域

音楽、環境フィールドレコーディング、または実際に保持したい継続的な非音声コンテンツを含む任意のもので、アグレッシブな設定をスキップしてください。これらのモデルは音声を隔離するのに訓練されます。他は何でも、楽器、編集用に保持したいかもしれない部屋のトーン、またはプロデューサーが通常保つバックグラウンドでコホストの笑い声を含めて、ノイズとして扱われ、抑制されます。

重複した音声はまだ最も難しいケース。2人が一度に話す場合、DeepFilterNetの2段階アプローチでさえ、それらをクリーンに分離するのに苦労します。なぜなら、モデルはフレーム単位でゲイン値を選んでいるからで、個別の話者を識別していない。あなたのワークフローが複数のマイクが話し声を拾うことを含む場合、ソース分離でマイクレベル - 物理距離、指向特性 - はまだ何らかのモデルが修正できるより勝ります。

そしてアグレッシブさに実際の上限があります。90パーセントのノイズを除去して、声が人間のように聞こえる抑制が、99パーセント除去して、あなたが缶の中から話しているように聞こえるものを打ちます。これらのモデルをその快適な動作範囲を超えて押すと、アーティファクトが聞こえ始めます。シビラント(s、sh、f音)で震える、水中の品質、または言葉の途中で切り落とされる息音。抑制後に録音が前より悪く聞こえたら、やり過ぎています。別のパスを重ねる代わりに、引き戻してください。

AIノイズキャンセリング vs 従来のANC--競争でなく異なるツール

アクティブノイズキャンセレーション - あなたのヘッドフォン内のもの - は全く異なる問題で、2つは頻繁に混同されるため、明確に分離する価値があります。ANCは逆位相の音波を生成して受信アンビエント音をあなたの耳に到達する前に物理的にキャンセル。純粋な音響、ハードウェア依存プロセス。1970年代にさかのぼる。エンジンの轟音のような低周波定常音で最高に機能します。ループに推論がないため、ほぼ瞬時に反応します。逆位相波形生成だけです。

AIノイズキャンセリングは異なる問題を解決します。音声信号を伝送または録音用にクリーンアップ。ANCが対応するために設計されなかった高周波、不定常のソース - 音声、チャッター - について動作。1つはあなたの耳に到達するもの。もう一つは他のみんなの耳に到達するもの。良いリモートセットアップは両方を使う傾向: あなた側をブロックするANCヘッドフォン、あなたが送出しているものをクリーンアップするマイクフィードのAI抑制。

次回の通話前にチェック価値がある内容

重要なことに頼る前にクイックテストを実行：抑制をオンにして1つのサンプルを録音、オフにして別のサンプルを録音。ヘッドフォンでリッスンバック、ラップトップスピーカーではなく。2つを特に確認してください。シビラント（s、sh、f音）は震えなく保持するか、文末が静かにトレイルオフするとき切り落とされるか。これら2つの故障モード他のすべての前に表示されます。

予算が限定されている、またはCPU制約のあるデバイスにいる場合、RNNoiseのWASMビルドは定常背景ノイズ用の合法的な無料オプション。最もクリーンな可能なオープンソース結果が必要で計算ヘッドルームがある場合、DeepFilterNetの2段階フィルタリングは追加レイテンシの価値があります。すべてのプラットフォーム全体で同じ方法で機能するもの、サーバー往復なし、設定するモデルなし - これは既に使用しているアプリの下で実行しているようなKrispの商用レイヤーのケース。

悪いマイク位置や硬い反射性表面を持つ部屋を修正しません。抑制は修復ステップ、ソース処理の代替ではありません。キャプチャでシグナルを正しく取得し、モデルは少なく行う必要があります。そこが実際のクリーン出力が開始される場所です。