tonebene.

Grosses erzählerisches Potential.

Wie im konventionellen Film spielt die Tonebene auch im 360°Film eine entscheidende Rolle. Erstaunlicherweise ist festzustellen, dass der Ton im 360°Film eher vernachlässigt und oft nur als einfache Begleitung eingesetzt wird. Dies ist umso mehr überraschend, weil die Möglichkeiten beim Erzählen mit Geräuschen und mit Musik sehr gross sind und oft kostenmässig viel einfacher zu bewerkstelligen sind, als aufwendige Inszenierungen vor der Kamera. Die Gründe dafür sind vermutlich im Umstand zu finden, dass viele Personen das Feld des 360°Films bespielen, die von Seite der Technik und insbesondere von Seite der Kamera her kommen und so die visuellen Möglichkeiten im Vordergrund sehen.

Postproduktion von 360° Filmton

Während die Konzeption und Realisation bzw. Produktion des Filmtons am Set- unter Berücksichtigung der beschriebenen Eigenarten – mit ähnlichen Mitteln wie im konventionellen Film umgesetzt werden kann, setzt die Postproduktion teilweise grundlegend andere technische Mittel voraus. 360°Film ist ein Kind des digitalen Zeitalters. Viel digitales Equipment, Know-How und die Bereitschaft, sich ständig mit neuen Standards und technischen Errungenschaften auseinander zu setzten, ist Voraussetzung für eine erfolgreiche 360°Post-Produktion Tätigkeit.

Planerische/Kommunikative Aspekte
Während des Post-Produktionsprozesses ist es entscheidend, im steten Austausch mit den Bildverantwortlichen zu sein. Vieles kann geplant und in einem Konzept niedergeschrieben werden, in der Praxis dann aber anders sein. Ein wichtiger Aspekt macht dabei die Anlieferung der Audio-Daten aus. Ist der Setton beim Cutter / bei der Cutterin angekommen, werden immer wieder Fehler festgestellt. Es kann sein, dass z.B. die vier Ambisonic Spuren beschädigt sind (Reihenfolge wird geändert, Startposition leicht verschoben) In einem solchen Fall kostet es sehr viel Zeit und Erfahrung, alles wieder herzurichten. Empfehlung: Wenn immer möglich sollten schon am Set Multikanal-Files (z.B. 4 Kanäle in einem wav-File) aufgenommen werden. Eine erfahrene Cutter*in weiss, wie sie die Files zu importieren und zu verriegeln hat, damit nichts passiert. Beim Austausch werden die Mehrkanalfiles oft in einzelne Monospuren zerlegt (AAF, OMF). Dies ist kein Problem, wenn die Aufsplittung nach dem Editieren passiert. Die Files können im Tonstudio einfach wieder zu Multikanal-Files gekoppelt werden.
Weiter ist es wichtig, dass die Videofiles in der richtigen Bildauflösung dem Tonstudio angeliefert werden. Man ist versucht, für eine schnelle Performance komprimierte Videos zu verwenden. Werden diese im aufgeklappten 360° View angezeigt, kann man gut damit arbeiten. Möchte man aber – und das ist üblich – laufend die Resultate in einer VR Brille kontrollieren, fallen bei schlechter Auflösung Platzierungsfehler nicht auf. Zudem ist eine schlechte Auflösung sehr ermüdend. Empfehlung: Auch wenn die Datenmengen, die oftmals übers Internet ausgetauscht werden, beträchtlich sind, sollte man, wenn immer möglich, die Audio mit der Zielbildauflösung anlegen und kontrollieren. Eine hoch performante Workstation ist deshalb Bedingung.
Es ist zu klären, wie die Regie/der Cutter die angelegte Audio begutachten/abnehmen will. 360° Audio wird binaural abgehört. Die Auslieferung erfolgt aber uncodiert (z.B. als 9 Kanal- Ambisonic-File und separatem headlocked Stereofile). Wird die Audio so ausgeliefert, muss sie zuerst codiert und mit dem Film gemixt werden. Empfehlung: Der Ton wird direkt im Studio mit dem Video encodiert (z.B. FB Encoder) und auf eine geeignete Plattform (z.B. Facebook oder Youtube) zur Abnahme hochgeladen (natürlich nicht public). So wird auch klar, dass mit der richtigen Filmversion gearbeitet wird.

Die technische Basisinfrastruktur

Voraussetzung ist eine leistungsfähige, digitale Audio Workstation (DAW) mit viel SSD Speicherplatz (oder über ein schnelles Netzwek verfügbar). 360°Audiofiles sind doppelt oder viermal so gross wie Stereofiles. Dazu werden die Projekte meist in verschiedenen Formaten und Mischungen gerendert. Ebenso sind die zu vertonenden Movie-Files massiv grösser als herkömmliche Videos. Daher sind mindestens zweimal mehr RAM als bei herkömmlichen Audio Computern und eine sehr schnelle CPU erforderlich.
Raumsimulationsalgorithmen müssen sehr viele Daten gleichzeitig rechnen und Audio mit möglichst wenig Latenz wiedergeben. Die Spatialisierung von Geräuschen und immer höhere Auflösung in Ambisonic-Projekten bedingen teilweise bis zu 16 Kanäle pro Spur (3d-Order Ambisonic). Sollen dann 90 Spuren gleichzeitig wiedergeben werden, ist ein «Arbeitstier», also ein sehr leistungsfähiger Computer notwendig. Durch die Mehrkanaltechnik brauchen die ohnehin DSP-hungrigen High-Quality-Plugins weiter massiv mehr Power und Auslagerungsmöglichkeiten (Look-Ahead Funktionen, Low Latency Processing).

Weiter ist eine maximale GPU-Performance wichtig. Für die übersichtliche und ergonomische Arbeit müssen mehrere Monitore angesteuert werden können. Ebenso ist für das Mischen und Abhören zu Realtime-Bedingungen der Betrieb einer VR-Brille an der DAW unumgänglich.

Qualitativ hochwertige Mehrkanal Plugins werden ebenfalls benötigt. Hallalgorithmen müssen reales 360° ausführen, also nicht bloss eine Verhallung nach vorne und hinten. Dazu müssen Tongestaltungsaufgaben wie Equing, Compressing, Denoising, Limitting etc. aufgrund der geforderten Kanal- und Phasenstarrheit äusserst genau arbeiten und bis zu 16 Kanäle gleichzeitig und ohne Abweichungen rechnen können. Das Abhören mit Kopfhörern bringt vieles an den Tag, was in herkömmlichen Lautsprecherumgebungen vernachlässigt werden konnte.

Qualitativ hochstehende Kopfhörer sind unerlässlich. Geschlossene Haupthörer mit hoher Impedanz ermöglichen eine maximale Kontrolle. Dazu ist zu empfehlen, auch geschlossene Durchschnittshörer mit mittlerer oder kleiner Impedanz zur Simulation der Consumer-Anwendung zur Verfügung zu haben.

 Ebenso ist durchgehend eine schnelle Internetverbindung erforderlich. Heutzutage wird während des Abnahmeprozesses von Filmton ständig up- und downloaded. Mit den massiv schwereren Daten kann eine schlechte Verbindung nicht nur die Deadline gefährden, sondern auch die Kommunikation mit den Produktionspartner*innen.

Welche Formate sollen abgeliefert werden?
Empfehlung: Diese Entscheidung muss das Tonstudio aufgrund der Anforderungen der  Zielplattformen und Zielmedien fällen. Videohäuser sind oft überfordert mit all den Audio-Möglichkeiten (mit- oder ohne HL-Stereo, 6-Kanal Youtube-Standard oder 8-Kanal Facebook, 9- oder 8 Kanalaudio für Brille etc.).

Formate

 A-Format
Das A-Format ist ein unbearbeitetes Raw-Format, das direkt vom Ambisonic Mikrofon (z.Bsp. Ambeo) ausgegeben wird. Die 4 Kanäle entsprechen der Ausrichtung der Kapseln, die Signale in der 8er Charakteristik aufnehmen:

• Kanal 1: FLU (Front-Left-Up), vorne links oben (und die Gegenrichtung BRD)

• Kanal 2: FRD (Front-Right-Down), vorne rechts unten (und die Gegenrichtung BLU)

• Kanal 3: BLD (Back-Left-Down), hinten links unten (und die Gegenrichtung FRU)

• Kanal 4: BRU (Back-Right-Up), hinten rechts oben (und die Gegenrichtung FLD)

Über die 4 Mikrofonkapseln in Achter-Charakteristik werden somit alle Richtung aufgenommen, es entsteht eine nahtlose Audiokugel mit der die Umgebung als 360°-Audio aufgezeichnet werden kann.

B-Format
Unter B-Format versteht man das umgewandelte A-Format in die Kanäle des Koordinatensystems:

• X: vorne, hinten Y:links, rechts Z: oben, unten

Der 4. Kanal, der W-Channel, ist das eigentliche Center, er enthält alle Signale von allen Seiten, wie ein Mikrofon mit Kugelcharakteristik. Durch die Kombination aller 4 Kanäle können Audioobjekte in allen Positionen unserer Kugel platziert werden. Man unterscheidet das weniger bekannte Format FUMA und das weit verbreitete ambiX-Format, auf das nachstehend weiter eingegangen wird.

ambiX
Aufgrund der relativ einfachen Handhabung hat sich das ambiX-Format durchgesetzt (Ambisonics exchangeable). Wie der Name schon sagt, ist dieses Format gut für den Austausch unter verschiedenen Applikationen geeignet. Die meisten Plugins benötigen ambiX Files damit die Richtungsabbildung nach dem Processing noch stimmt.
Obwohl die meisten Ambisonic Mikrofone das sogenannte A-Format produzieren, kann dieses schon in vielen Recordern (z.B. Zoom F8) zu einem ambiX-File konvertiert werden. Es gibt aber auch Plugins (frei zum Download), die das A-Format in der DAW zu ambiX konvertieren können.
Das ambiX-File hat 4 Kanäle, die aus dem A-Format in die entsprechende Achsenzuordnung umgewandelt wurden. Im Gegensatz zum FUMA-Format hat ambiX die Kanalreihenfolge nicht nach Alphabet, sondern wie folgt geordnet:

• Kanal 1:      W

• Kanal 2:      Y

• Kanal 3:      Z

• Kanal 4:      X

Wird diese Reihenfolge nicht eingehalten, ist die Richtungswahrnehmung falsch und unklar. Auch müssen Dynamikunterschiede der einzelnen Kanäle im Mix immer 100% beibehalten werden. Bei einer falschen Anwendung von Compressoren, Eq’s oder Limiter oder bei fehlerhaftem Routing innerhalb der DAW, zerfällt das 360°Abbild komplett.

FOA vs. HOA
Mit FOA ist «first order ambisonics» gemeint. Dies bedeutet die Umrechnung der Sphäre in die erwähnten 4 Kanäle.

Es liegt auf der Hand, diese Technik noch zu verfeinern und immer exaktere Platzierungspunkte für Audioobjekt zu erhalten. Würde man z.B. 8 Mikrofonkapseln anstelle von 4 in ein Ambisonic Mikrofon packen (was es auch schon gibt), dann hätte jede Kapsel einen kleineren Bereich abzudecken. Ein differenzierteres Abbild des akustischen Umfeldes wäre dadurch möglich, denn die Überschneidungen von Kapsel zu Kapsel würden kleiner.
Mit HOA ist «high order ambisonics» gemeint, wie die untenstehende Grafik zeigt, kann diese Ordnung immer wieder durch noch detailliertere Bereiche erweitert werden.

Das Praktische daran: die ersten 4 (0 – 3) Kanäle bleiben FOA, wenn man also einen HOA-Mix (Bsp. 16 Kanäle) über die ersten 4 Kanäle abhört, erhält man einfach wieder einen FOA-Mix. Heute gibt es Plug-Ins, die FOA in eine höhere Ordnung «upmixen» (Harpex). Die Hauptanwendung richtet sich insbesondere an die Spatialisierung von objektbezogenen Audioquellen. Die Lokalisierung wird präziser, allerdings steigt dadurch auch der CPU und Speicherhunger des Computers erheblich.

Youtube, Facebook, Brillen

Wie schon erwähnt, gibt es verschiedene Plattformkategorien welche unterschiedliche Formate benötigen. Die Gängigsten sind zur Zeit diese «Webformate»:

• Youtube Standard Video: 4-Kanal FOA ambiX

• Youtube mit HL-Stereo: 4- Kanal FOA ambiX + 2 Kanal Stereofile

• Facebook Standard: 8-Kanal Facebook File

• Facebook mit HL-Stereo: 8-Kanal Facebook + 2 Kanal Stereofile

Für Brillen gibt und gab es teilweise separate Formate (Oculus Video), alle können aber die Webformate abspielen. Für die Integration in VR oder Game-Applikationen gibt es wieder spezielle Formate die hier nicht weiter beleuchtet werden. Es ist davon auszugehen, dass die Zahl der Order weiter zunehmen wird, so dass auch Youtube z.B 2nd Order Ambisonics verarbeiten und wiedergeben kann.

Grenzen der Gestaltungsmöglichkeiten

Mit dem Besitz schneller Computer, hochwertiger Plugins und VR-Brillen erscheinen die Möglichkeiten der Tongestaltung grenzenlos. Technisch ist dies nahezu der Fall. Jedoch gibt es praktische Einschränkungen, die unbedingt beachtet werden müssen.

Kopplung von Auge und Ohr
Alles was in der «richtigen» Welt passiert, können wir mit unseren Sinnen gut erfassen, bzw. mit unseren Wahrnehmungserfahrungen überprüfen. Werden z.B. sich bewegende Objekte über ein Ambisonic Mikrofon aufgenommen, sind diese natürlich an die Optik gekoppelt. Das Zusammenspiel zwischen Ohr und Auge funktioniert im gewohnten binokularen Gesichtsfeld sehr gut (ca. 214° horizontal, ca. 70° nach oben und unten). Alles was ausserhalb dieses Blickfeldes passiert, ist auch ausserhalb unseres Fokus. Unbekannte akustische Ereignisse ausserhalb dieser Zone zwingen uns, den Kopf oder gar unseren Körper zu drehen, im Prinzip sind wir da primär gesteuert und müssen wissen, ob eine Bedrohung vorliegt und wir Flüchten oder Kämpfen müssen. Es ist somit Vorsicht geboten, diese «Reaktionsmuster» zu oft oder in einem ungeschickten Moment auszulösen. Sie führen zu Verwirrung und Stress.
Ein absolutes «Don’t» ist eine unsaubere Platzierung von Audioobjekten, die mit visuellen Objekten gekoppelt sind. Durch die gewohnte Verbindung von Ohr und Auge kann z.B. eine Stimme, die ständig etwas rechts verschoben von einem sprechenden Menschen erklingt, Irritationen hin bis körperlichen Reaktionen wie Kopfschmerzen auslösen.

Schnelle Richtungsänderungen/Ohrdistanz/HRTF
Wir sind schnell überfordert, wenn im 360°Raum ein Geräusch z.B. plötzlich unter uns vorbeizischt und oben in der Mitte zum Stehen kommt. Abgesehen davon, dass wir physikalisch in der X-Achse ohnehin sehr unbeholfen unterwegs sind (wenn etwas direkt auf uns zu und unter uns durchfliegt, dann können wir es so lange verfolgen, bis wir unseren eigenen Körper anschauen, wir müssten in Bruchteilen eine 180°-Drehung machen um es nahtlos wieder von uns wegfliegen sehen zu können), fühlen sich Richtungswechsel in der 360°-Filmwelt viel direkter und somit auch stressiger an, denn die Kopfhörer vermeiden die natürliche Trennung unserer Ohren um ca. 17cm (Kopfbreite) und damit die natürliche Verzögerungen von Schallwellen, die sich um unseren Kopf beugen.

Mit den In-Ear Ambisonic Mikrofonen wird versucht, diesem Effekt Rechnung zu tragen und eine «natürliche» Ohrdistanz zu erzielen. Für selbst kreierte Audioobjeke, die man herumfliegen lässt, ist es massgebend, welches HRTF-Modell zur Anwendung kommt. Das HRTF-Modell (Head-Related Transfer Functions) simuliert im Prinzip den Ohrenabstand und wird beim binauralen Decoding (also der Umwandlung von Ambisonic-Files zu einem für die Kopfhörer spielbaren 360°Stereo-File) angewandt. Dabei geht man von einem «Durchschnittskopf» aus, was allerdings ein sehr grosser Kompromiss ist. Man muss sich bewusst sein, dass dadurch eine 360°Produktion für jeden Menschen anders klingt und die Richtungswahrnehmungen nicht zu 100% identisch sind.

Automation von Bewegungen/Zeitdynamische Tongestaltung

Bei Monospuren im konventionellen Ton werden Bewegungen mit 1 Parameter automatisiert: Position auf der Y-Achse. Man entscheidet, wann ein Sound wo zwischen linkem und rechtem Kanal erklingen soll. Ein Mono-Audioobjekt im 360°Film braucht hingegen für den gleichen Effekt schon 4 Parameter:

• Position auf der Z- Achse

• Position auf der X- Achse

• Position auf der Y-Achse

• Distanz zum POV

Auch wenn auf der einen Achse keine Bewegung erfolgt, so muss das System «wissen» wo sich das Objekt befindet (Startpunkt). Insbesondere wenn man Mausbewegungen als Automation aufnimmt wird man feststellen, dass jeder der 4 Parameter betroffen sein wird. Arbeitet man mit einem Stereo-Objekt, sind es nur für die Platzierung beider Kanäle bereits 8 Parameter. Hinzu kommen Parameter aus Plugins wie zum Bsp. sich ändernde EQ-Kurven zur Verstärkung des Distanzgefühls, Effekt-Sends und natürlich Lautstärkeverläufe und Dynamikkorrekturen. Eine einzige Audiospur in einem 360° Projekt kann also gut und gerne 12 – 16 Parameter aufweisen, die über die Zeitachse des Films verändert und angepasst werden müssen. Stellt man sich vor, dass von Seiten Bild Schnittänderungen kommen, oder man verschiedene Audioobjekte miteinander koppeln und die gleichen Bewegungen ausführen möchte, steigt die Komplexität rasch ins uferlose. Obwohl technisch alles einwandfrei machbar ist, sollte mach sich zu Beginn eines Projektes im Klaren sein, was man als Tongestalter*in verspricht und was dies für Folgen für die Umsetzung hat.

Kompensation Mikrofonierungsprobleme

Am 360°Set soll möglichst nichts im Bild sein, das nicht zur Story gehört. Damit das Mikrofon und möglicherweise auch der Recorder (der auch noch irgendwo unter dem Stativ steht) in der Postproduktion einfach heraus retuschiert werden können, wird das Mikrofon bei 80% aller Produktionen nicht optimal aufgestellt. In der Postproduktion können diese Fehler nur teilweise korrigiert werden.

Die Hauptprobleme sind:

• Mikrofon ist zu weit unten. Je näher man ein Mikrofon zum Boden platziert, desto mehr Reflexionen werden von unten aufgenommen. Der Sound beginnt sich zu verfälschen und entspricht nicht dem, was wir uns z.B. mit einer Grösse von 170 cm gewohnt sind, es klingt so, wie es ein Kind hören würde. Dieser «Fehler» ist akustisch so komplex, dass er mit den Mitteln einer DAW nicht restauriert werden kann.

• Mikrofon zu nah am Stativ. Je nach Dicke des Stativs produziert dieses einen Schallschatten, es entsteht eine Art Keil in der Kugel in dessen Einflussbereich der Schall gebeugt oder gar nicht an die richtige Kapsel gelangt. Die dadurch verursachten Lokalisierungsdefizite sind nur bedingt korrigierbar.

• Geräusche zwischen Mikrofon und Kamera. Hier ist besonders Vorsicht geboten. Ein Geräusch, das zwischen Mikrofon und Kamera erklingt, ist z.B. rechts im Bild, aber links im Soundfeld. Mit den Rotationsmöglichkeiten ist dies zwar korrigierbar, das funktioniert aber nur, wenn nicht noch andere Geräusche, die korrekt platziert sind, von der Rotation betroffen sind.

• Drohnenflug. Wie die Welt aus Sicht einer Drohne klingt können wir uns gut vorstellen. Wegen des lauten Surrens müssen 360°Shots vom Himmel immer nachvertont werden. Das ist auch schnell so versprochen und man sammelt emsig Geräusche um ein möglichst authentisches Klangbild zu bauen. Während der Klanggestaltung wird dann klar: Vieles was man da unten sieht, klingt. Gewisse Audio-Objekte verlaufen parallel zum Drohnenflug, gewisse verlaufen diametral oder drehen sich um den POV weil die Drohne an Ort steht und sich dreht. Die entfernte Stadt kommt plötzlich näher, wird von mono zu stereo, eine Propellermaschine braust in sichtbarer Distanz vorbei etc. etc. Auch in diesem Fall steht und fällt das Resultat mit der Konzeption des Shots im Vorfeld. Es hat sich bewährt, einen Kran zu verwenden, der an verschiedenen Positionen des Drohnenflugs zur Produktion von Nur-Ton aufgestellt wird. Das «Grundrauschen» wird so optimal eingefangen, es kann zwischen den Audiofiles gefadet, die Rotation mit der Drohnenbewegung kombiniert werden. Wichtige Geräusche können dann noch punktuell nachvertont, und mit den üblichen Methoden zur Erreichung von Distanz und Räumlichkeit versehen werden.

Ausblick

Die Tongestaltung im 360° Film unterliegt erweiterten und komplexeren Produktionstechniken und akustischen Gesetzmässigkeiten als im konventionellen Film. Die konsequente Beachtung folgender Aspekte können zu einer reibungslosen Tonproduktion ohne teure oder frustrierende Überraschungen am Schluss des Projektes führen:

• Konzeption von Herstellung und Produktion des Tons, Sound-Supervision über das ganze Projekt ist notwendig (Set-Ton muss wissen was die Post kann, Post muss wissen, wie es am Set war. Empfehlung: Fotokdokumentation).

• Durch die hohe Komplexität von 360°Ton müssen längere Produktionszeiten und höhere Kosten budgetiert werden.

• Ein umfassendes Wissen über Mikrofonie- und Tontechnik, Akustik und Psychoakustik ist für alle Stufen des Tongestaltungsprozesses notwendig.

• Die Produktions- und Gestaltungsmethoden unterliegen in einem grossen Ausmass wechselnder Standards, Plattform- und Technologieentwicklungen. Eine intensive Auseinandersetzung damit ist unerlässlich.

• Die Rezeptions-Situation entscheidet darüber, wie der Ton angelegt und gemischt wird. U.A. müssen verschiedenen Mixes für verschiedene Situationen angefertigt werden

• Das laufende Testen des Tons mit der VR-Brille ist sehr wichtig. Klangwelten, die auf dem Kopfhörer gut klingen und am Bildschirm mit dem Bild entstehen, sind nicht in jedem Fall auch das Beste für das Brillen-Erlebnis.

• Durch das Abhören über Kopfhörer muss der sauberen Tonarbeit ein spezielles Augenmerk geschenkt werden.

• 360°Tongestaltung braucht hoch performante Infrastruktur und natürlich das Know-How zur Systempflege und Skalierung.

• Nicht alles, was Software-Tools und Plugins versprechen, ist zielführend und notwendig. Man muss sich bewusst sein, dass auch diese Technologien den Gesetzten des Marktes unterliegen und Bedürfnisse bewusst geweckt werden.

• Der Wunsch nach dem perfekten 360°Ton wird wahrscheinlich nie ganz in Erfüllung gehen. So geht es darum, mit den bestehenden Mitteln das Maximale herauszuholen. Was am Schluss gilt, ist ein tolles, überzeugendes und fesselndes Gesamterlebnis, ungeachtet dessen, wie viel «Tonregeln» man missachtet oder befolgt hat!

Ein Blick in die Zukunft der Tongestaltung für den 360°Film lässt erahnen, dass:

• Kamera und qualitativ hochwertige Mikrofone noch enger als technische Einheit zusammenrücken (exakt gleicher POV)

• Remote-Abhörfunktionen für das Tonequipment einfach und stabil werden

• Die Plattformanbieter sich bezüglich Standardisierung der Formate einen Ruck geben, zum Wohle aller Beteiligten

• Mindestens mit 2nd Order Ambisonic oder höher gearbeitet wird

• Zukünftig persönliche HRTF-Profiles geladen werden können, damit die Binaural-Decodierung auf die physischen Eigenschaften des Zuschauers abgestimmt sind.

Weiterführende Links

• Ambisonic Mixing tutorial mit Ambeo von Sennheiser

• Tutorial mit Ambeo von Berklee College