Elphi_1

360°-3D-Videoproduktion in der Elbphilharmonie:
»Ein (jazz-)musikalisches Raumerlebnis«

Die Architektur der Elbphilharmonie als musikalischer Erfahrungsraum: Chefdirigent Geir Lysne plazierte Solisten der NDR-Bigband und einen 25-Mann-Chor an verschiedenen Stellen auf den Publikumsgalerien. Eine wunderbare Gelegenheit, die Möglichkeiten von 360°-Video und Spatial Audio spektakulär auszunutzen.

Syrinx Productions filmte das Konzert am 13.04.2019 in 360° 3D mit zwei Insta360 Pro 2 Kameras, wobei die 2. als Backup diente. Um das Geschehen auf den Publikumsrängen für den VR-Brillen-Zuschauer dichter heran zu holen, wurden mit fünf weiteren Kameras Nahaufnahmen der Solisten gedreht, die ins 360°-Video an den entsprechenden Stellen als "virtuelle Leinwände" eingeklinkt wurden.

Die Tonmischung wurde als "Spatial Audio" angelegt: die Lokalisation der verschiedenen Instrumente soll hierbei für den VR-Zuschauer/-hörer im Kopfhörer stets der Position im 360°-Video entsprechen, unabhängig von der jeweiligen Blickrichtung, also gewissermaßen ortsfest bleiben, wenn man den Kopf dreht. Fast alle VR-Abspielplattformen, Smartphone- und Desktop-Browser sind mittlerweile in der Lage, ein solches binaurales Signal anhand von Blickrichtungsdaten aus einem Ambisonics-Master in Echtzeit zu rendern.
s
Zur Herstellung eines solchen Audiomasters stellt Facebook ein Toolset zur Verfügung, bestehend aus diversen Plug Ins, einem Encoder und einem Player. Allerdings sind die Anforderungen an eine Audio-Workstation ganz enorm, will man das Toolset - wie in diesem Fall - zur Abmischung einer 85-kanaligen Multitrack-Aufnahme einsetzen. Z.B. muss jede Spur, die man mit dem "Spatializer" - das ist der 360°-Kugelraum-Panner mit Bildwiedergabe - räumlich anordnen will, 16-kanalig angelegt sein, auch wenn sie lediglich ein Monosignal enthält, da der Masterbus im Third-Order-Ambisonics-Format (TOA) angelegt ist.

Videoproduzent Jürgen Klimmeck erläutert: „Die Elbphilharmonie ist in Bezug auf 360° Produktionen optimal, da die Bühne im Mittelpunkt des Saals angeordnet ist und das Publikum darum herum sitzt. Wir haben schon vor 20 Jahren für das hoffnungsvolle Medium DVD-A Pionierarbeit für audiovisuelle 5.1-Raum Musikdokumentationen geleistet und produzieren seit 2010 3D-Videos.
Erst die Verbindung von 360° VR-Video in 3D mit Spatial Audio schafft nun die perfekte Illusion, bei einem Event persönlich dabei zu sein - im wahrsten Sinn immersiv! Wenn man die Brille aufsetzt, wird man nicht vorspulen, zappen oder nebenbei bügeln wie am Handy oder Fernseher.
Man lässt sich auf das Ereignis ein oder nicht - dazwischen gibt es nichts und vielleicht wird gerade diese notwendige Konzentration aufs Erlebnis unter der Brille dem Genuss, aber auch dem Respekt gegenüber der Aufführung zukünftig ähnlich gerecht wie der Besuch eines Konzertes.

Der NDR veröffentlicht 2 Stücke aus diesem Programm über seine Facebook-Seite und die Website der NDR-Bigband. Eine längere Fassung mit 3 Stücken und mehr von den Raumeffekten kann man auf dem Syrinx-Youtube-Kanal ansehen und -hören. Am besten ist natürlich die Wiedergabe über ein VR-Headset, aber der Spatial-Audio-Effekt ist auch am Handy (schwenken!) oder PC (das Bild mit der Maus drehen!) mit Kopfhörer hörbar.