Czym jest sound design: warstwy, workflow i miejsce AI

Sound design to praktyka tworzenia, nagrywania, edycji i miksowania każdego elementu dźwiękowego produkcji, tak aby dźwięk opowiadał historię: efekty, odgłosy otoczenia, foley, obróbkę głosu i sposób, w jaki muzyka układa się wokół nich. Czym jest sound design w praktyce? To warstwa decyzji między tym, że dźwięk istnieje, a tym, że ten konkretny dźwięk należy do tej sceny, na tym poziomie głośności i z taką fakturą. Dotyczy filmu, gier, aplikacji, podcastów i coraz częściej syntetycznego głosu.

Co sound designer robi na co dzień?

Odłóż na bok tytuł, a zostaną trzy czasowniki: pozyskaj, ukształtuj, umieść. Pozyskujesz dźwięki, nagrywając je, sięgając po bibliotekę albo syntetyzując. Kształtujesz je korektorem, zmianą wysokości, rozciąganiem w czasie, warstwowaniem i obróbką. Umieszczasz je w czasie i przestrzeni, tak aby trafiły w odpowiednią klatkę, na odpowiedni poziom i do odpowiedniego środowiska akustycznego.

Sam tytuł jest młodszy, niż większość ludzi zakłada. Według Research Starter EBSCO o sound designie rola sound designera została po raz pierwszy formalnie wymieniona w czołówce w filmie Apocalypse Now z 1979 roku. Wcześniej tę pracę dzielili montażyści, realizatorzy foleyu i miksujący w postprodukcji. Samo nazwisko miało znaczenie, bo dawało jednej osobie odpowiedzialność za całą tożsamość dźwiękową, a nie tylko za zestaw oddzielnych działów.

W małym zespole ta odpowiedzialność kurczy się do skromniejszej formy. Przy niezależnej grze możesz być jednocześnie projektantem, realizatorem nagrań, osobą, która wdraża dźwięk w silniku, i tą, która zgłasza błąd, gdy krok zapętla się w złym miejscu. To normalne. Znajomość całego łańcucha pozwala naprawiać problemy w najtańszym punkcie.

Pięć warstw, z których składa się każda ścieżka dźwiękowa

Większość wyjaśnień kończy się na stwierdzeniu „efekty i muzyka”. Roboczy podział wyróżnia pięć warstw. Konkurują one o to samo pasmo częstotliwości, dlatego projektanci myślą o nich razem.

1. Dialog i głos. Zrozumiałość idzie w pierwszej kolejności. Mowa mieści się mniej więcej w przedziale od 100 Hz do 8 kHz, a większość wyraźności spółgłosek leży między 2 a 5 kHz, więc wszystko inne wycina się wokół niej.

2. Twarde efekty. Drzwi, uderzenia, broń, kliknięcia interfejsu. Krótkie, mocno przejściowe, zwykle zsynchronizowane z widocznym działaniem.

3. Foley. Ruchy wykonywane przez człowieka: tkanina, kroki, obsługa rekwizytów. Spaja dialog z obrazem.

4. Otoczenie i atmosfera. Tło pomieszczenia, wiatr, odległy ruch uliczny albo buczenie maszyn, które mówią mózgowi, gdzie się znajdujemy.

5. Muzyka. Wyznacza tempo i emocje, i musi zostawić miejsce na pozostałe cztery warstwy.

Szósta warstwa, cisza, jest świadomym wyborem, a nie brakiem. Scena, która na pół sekundy cichnie niemal do zera przed uderzeniem, uderza mocniej niż ta, w której dorzucono głośniejszy wybuch.

Dlaczego foley i nagrania terenowe nadal biją bibliotekę

Biblioteki są szybkie i w przypadku tła często wystarczają. Ale krok nagrany w bibliotece na cudzej powierzchni niesie zły rezonans, a ucho wyłapuje go, zanim mózg zdąży go nazwać. Foley rozwiązuje ten problem, bo wykonuje dźwięk pod obraz. Buty na żwirze dla ścieżki ze żwiru. Pęczek łodyg selera, łamany przy mikrofonie, dla łamanych kości. Zmięta folia celofanowa dla ognia.

Nagranie terenowe stosuje tę samą logikę do otoczenia. Dziewięćdziesięciosekundowy odsłuch pomieszczenia, zarejestrowany na miejscu z tym samym ustawieniem mikrofonu co dialog, dopasuje się do szumu tła dialogu w sposób, jakiego nie osiągnie żaden ogólny plik „odgłosy biura”. Otoczenie maskuje też punkty montażowe między ujęciami, więc jest tańsze niż ponowne nagrywanie. Przed startem przejdź się po pomieszczeniu z mikrofonem i posłuchaj, co w nim buczy, skrzypi albo dudni. Tego nie wykryjesz w miksie.

Możesz to pominąć, jeśli prototypujesz. Na pierwszy przebieg dźwięki tymczasowe wystarczą, a bywają lepsze, bo nie pozwalają polerować audio do sceny, która zostanie wycięta. Warto zainwestować czas, gdy obraz jest zablokowany.

Notatka z sesji: nagraj co najmniej 20 sekund ciszy w każdej lokalizacji, nawet jeśli miejsce wydaje się ciche. Przyda się do późniejszego profilowania szumu, a wrócić do tego miejsca nie zawsze będzie można.

Jak praca przepływa: od spottingu do miksu finalnego

Sound design to pipeline, a etapy są spójne w filmie, grach i aplikacjach, nawet gdy narzędzia się różnią.

Spotting. Oglądasz obraz (albo grasz w build) z reżyserem lub leadem i zaznaczasz miejsca, w których dźwięk ma coś zrobić: uderzenie, przejście, zmianę nastroju. Ta lista napędza wszystko, co dzieje się dalej.

Zbieranie i tworzenie. Nagrywanie, przeszukiwanie biblioteki, synteza i coraz częściej narzędzia generatywne. Każdy plik trzeba nazwać i otagować przy imporcie, bo folder z 4 000 plików o nazwach w rodzaju „whoosh_final_v3” kosztuje godziny później.

Montaż i warstwowanie. Pojedynczy „punch” to zwykle trzy do pięciu warstw: niskotonowe dudnienie, środek, wysokie trzaśnięcie, czasem ogon. Każda warstwa dostaje własny korektor, żeby dało się je ułożyć bez zmulenia.

Miks. Poziomy, panorama, kompresja, wysyłki pogłosu. Liczą się tu cele nadawców i platform streamingowych: wiele z nich normalizuje do około -14 do -16 LUFS zintegrowanej głośności, a miksy kinowe trzymają się innych poziomów referencyjnych. Dlatego cel ustala się, zanim ruszy pierwszy suwak.

Dostarczenie i wdrożenie. Stemy dla filmu albo zasoby plus reguły zachowania dla silnika gry.

Gry zmieniają zasady: dźwięk, który musi reagować

Media liniowe odtwarzają ten sam dźwięk w tym samym momencie za każdym razem. Gra tak nie działa. Krok może wyzwolić się 10 000 razy w jednej sesji, na różnych powierzchniach, przy różnej prędkości i różnej odległości kamery. Dlatego sound design w grach to po części rzemiosło dźwięku, a po części projektowanie systemów.

Praktycznych konsekwencji są cztery:

• Wariacja. Jedna próbka kroku powtarzana w kółko brzmi jak maszyna. Pula 6 do 8 wariantów z niewielką losową zmianą wysokości (plus minus 2 do 3 procent) i głośności usuwa powtarzalność.

• Parametry. Dźwięki reagują na stan gry: prędkość, zdrowie, dystans, typ powierzchni. Projektant buduje reguły, a nie tylko zasoby.

• Budżet głosów. Silniki ograniczają liczbę równoczesnych głosów, więc priorytety i reguły wyciszania decydują, co usłyszysz w zatłoczonej scenie.

• Pamięć. Formaty skompresowane i decyzje o strumieniowaniu wpływają na czasy ładowania i na certyfikację na platformach.

Dlatego middleware i sam silnik są tak samo ważne jak DAW. Jeśli pracujesz w Unity, mikser audio, snapshoty i wystawione parametry to miejsce, w którym dzieje się większość prawdziwego projektowania.

Budżet najczęściej pęka na dialogach. Średniej wielkości RPG może zawierać dziesiątki tysięcy nagranych kwestii, a ponowne nagrywanie po zmianie scenariusza jest drogie. Wiele zespołów używa dziś syntetycznego głosu do linii tymczasowych i prototypowych, żeby projektant dźwięku mógł sprawdzić tempo i miks, zanim aktorzy nagrają wersję docelową.

Gdzie głos AI pasuje w sound designie, a gdzie nie

Ten serwis spędza większość czasu na głosie, więc mówimy wprost. Syntetyczny głos jest dziś narzędziem w łańcuchu projektanta dźwięku i zachowuje się jak każde inne źródło: wymaga kontroli poziomów, korekcji i miejsca w miksie. Nie zastępuje decyzji projektowych.

Trzy zastosowania, które się sprawdzają:

• Głos tymczasowy do animatików, prototypów i testów poziomów, żeby problemy z czasem i miksem wyszły wcześnie.

• Głosy tła i tłumu („walla”), gdzie zrozumiałość pojedynczego głosu nie ma znaczenia, a zróżnicowany zestaw klonów oszczędza dzień nagrań.

• Głosy kreatur i przetworzone, gdzie artefakty syntezy stają się częścią faktury. Przepuść klon przez pitch shifter, modulator pierścieniowy i konwolucyjny pogłos, a dostaniesz źródło, którego nie dałoby się nagrać.

Jedno zastosowanie, w którym tak nie jest: kluczowe dialogi w emocjonalnie naładowanych scenach nadal korzystają z aktora, który przyjmuje wskazówki reżysera, chyba że narzędzie daje precyzyjną kontrolę nad intonacją. Dlatego parametry emocji liczą się bardziej niż sama wierność klonu. Jeśli możesz sterować krzywą intonacji, dopasujesz wykonanie do sceny zamiast przyjmować to, co zwróci model.

Polski widz dobrze zna lektora, czyli jednogłosowy przekład czytany nad oryginalną ścieżką. Dla sound designera to przypomnienie, że w takim lektorze słychać każdy szczegół miksu: gdy głos jest za głośno, ścieżka pod nim znika, a gdy jest za cicho, scena traci sens. Syntetyczny głos podlega tym samym wymaganiom, a jego wady wychodzą równie szybko.

Generatywne narzędzia do efektów i otoczenia to osobna kategoria. Przydają się do szkiców i podkładów teksturowych, ale przed wpuszczeniem ich do finalnego miksu sprawdź głośność, punkty zapętlenia i artefakty.

Przy czyszczeniu nagranego głosu, zwłaszcza w materiałach podcastowych i narracyjnych, edycja oparta na transkrypcji to uprawniony skrót: usuwasz oddechy i wypełniacze, edytując tekst, a wykańczasz w DAW.

Od czego zacząć, jeśli zaczynasz od zera?

Zacznij od słuchania, bo od niego zależy wszystko inne. Wybierz jedną scenę z filmu lub gry, którą dobrze znasz, zamknij oczy i zapisz wszystkie dźwięki, które słyszysz w ciągu 60 sekund. Większość początkujących wymienia cztery lub pięć. Wytrenowane ucho wymienia piętnaście.

Potem, w tej kolejności:

1. Wybierz DAW i naucz się go dobrze. Reaper, Pro Tools, Logic albo Ableton, wszystkie się nadają. Lepszy jest ten, w którym kończysz projekty, niż ten z najdłuższą listą funkcji.

2. Naucz się przepływu sygnału i gain stagingu. Przesterowania przed miksem nie da się naprawić po nim.

3. Naucz się korekcji jako narzędzia do wycinania. Najpierw tnij, dopiero potem podbijaj.

4. Przeprojektuj klip. Weź 30 sekund wideo, usuń ścieżkę dźwiękową i odbuduj ją od zera. Dziesięć prób uczy więcej niż dziesięć tutoriali.

5. Dodaj silnik. Jeśli interesują cię gry, wdróż te same dźwięki w silniku, z wariacjami i parametrami.

Przyzwoity zestaw startowy to zamknięte słuchawki, interfejs audio z co najmniej jednym czystym preampem i mały mikrofon pojemnościowy z kapsułą małej membrany albo kardioidalny. Całość zmieści się w budżecie około 300 do 600 USD. Resztę uwagi wydaj na słuchanie.

Przed następną sesją

Sound design to nie stos efektów. To dyscyplina decydowania, co publiczność usłyszy, czego nie usłyszy i jak każdy dźwięk zapracowuje na swoje miejsce. Narzędzia zmieniają się co roku, a pytania zostają te same: po co jest ten dźwięk, gdzie się znajduje i co się stanie, gdy zniknie?

Jeśli pracujesz z głosem, traktuj syntetyczny głos jak każde inne źródło w łańcuchu: oznacz go, obrób, zmiksuj i uczciwie zaznacz, gdzie się sprawdza. Wybierz w tym tygodniu jedną krótką scenę, zdejmij jej dźwięk i odbuduj go. Nauczysz się, czym jest sound design, szybciej niż z jakiejkolwiek definicji.