Formate
Für zwei Personen im Greenscreen-Set ein passendes Homestory-Interview-Ambiente zu schaffen, ist mit etwas Vorbereitung und der richtigen Hardware kein Problem. Selbst, wenn die Hintergründe in Echt-Zeit rausgekeyt und in der Unreal Engine live durch virtuelle Sets ersetzt werden.Aber wie gut funktioniert das, wenn die zweite Person woanders auf der Welt vor den Kameras steht? Lassen sich zwei Sets zu einem zusammenfügen? Und welche Voraussetzung müssen erfüllt sein, damit der Dialog der Protagonisten möglichst natürlich rüberkommt? Für uns ein spannendes Setting, das wir zum Start unseres Greenscreen-Studios unbedingt testen wollten.
"Wir wollen Kunden und Partner-Unternehmen in der Ausgestaltung von Events mehr bieten als same-same-but-different. Es gibt so viel spannendere Möglichkeiten, Marken zu entwickeln oder Informationen zu teilen, wenn man bereit ist, out-of-the-box zu denken. Im Urban Studio OpenLab entwickeln wir unser Portfolio an Features und Formaten kontinuierlich weiter - für Produktionen die das Prädikat next-level verdienen."
Nicolai, Gründer und CEO von Jakobs Medien
Der Impuls für den Format-Test kam aus einem Making-of-Video, in dem Talkmasterin Oprah Winfrey Ex-US-Präsident Barack Obama interviewt. Beide unterhalten sich darüber, wie lange sie nicht mehr unter Menschen gegangen sind. Dann lösen sich die verschiedenen Fusionsebenen Layer für Layer auf und es wird klar, dass die Fragen aus einem Set an der Ostküste gestellt, die Antworten aber aus einem Greenscreen-Studio an der Westküste kommen.
Neben dem technischen Aufbau des Settings war für uns natürlich interessant, ob das Format nur als Aufzeichnung oder auch als Live-Format für Hybride Events funktioniert.
Um die Situation zu simulieren, haben wir an zwei Tagen das Greenscreen Set in den Urban Studios in Kreuzberg als Hauptbühne eingerichtet. Hier wurde kurzerhand noch Parkett verlegt, der zum Loft-Wohnzimmer-Setting passt, welches wir vorher in der Unreal Engine virtuell konstruiert hatten. Zwei Stühle wurden gegenüber aufgestellt, aber nur einer blieb besetzt - meistens jedenfalls ;).
Hinter dem leeren Stuhl platzierten wir einen Vorschaumonitor, der den zugeschalteten Interviewpartner in der Totalen zeigen sollte. In einem zweiten Greenscreen-Set im BMU-MediaLab in Berlin Mitte platzierten wir dann noch identische Stühle vor grünem Screen und auf grünem Boden. Hier wurde folglich der andere Stuhl besetzt.
Aus dem Kick-off mit allen Beteiligten aus unserem Team ergaben sich drei Herausforderungen, die wir in jedem Fall zuerst meistern mussten, bevor wir das Format in unser Portfolio übernehmen konnten:
1. Die Signale aus den beiden Sets mussten sauber abgegriffen und virtuell zusammengefügt werden, ohne dass es zu lange Verzögerungen gibt.
2. Die Settings müssen so arrangiert sein, dass die Illusion entsteht, beide Protagonisten sind am selben Ort.
3. Außerdem sollte die Kommunikation reibungslos - also ohne merkliche Verzögerung laufen, damit der Dialog natürlich wirkt.
Insgesamt vier Kamerasignale sind nötig, um die Interviewsituation letztlich im fusionierten Set darstellen zu können. Jeweils die Totale und eine Nahaufnahme der anwesenden Protagonisten samt Audio kommen im Tricaster des Urban Studios in Kreuzberg bzw. in dem des MediaLabs in Berlin Mitte an.
Von dort werden sie via SRT-Protokoll losgeschickt und treffen sich auf halbem Weg auf einem Amazon Web Service-Server zum so genannten Handshake-Datenaustausch über eine Haivision SRT Gateway Knapp zwei Sekunden nach der Aufnahme sind dadurch alle Perspektiven im Regiestudio zusammengeführt.
Eine Latenz zu erreichen, die unter zwei Sekunden dauert, wäre zwar über entsprechende LiveU-Hardware möglich - ist aber definit eine Kostenfrage. Denn für vier Signale bräuchten wir vier LiveUs. Unsere Lösung mit der Haivision SRT Gateway ließ bis zu sechs Signale zu und war deshalb zum Testzeitpunkt für uns die bessere Wahl.
Die Aufnahmen aus den beiden Greenscreen-Studios liefen bei uns im Urban-Regiestudio zusammen und wurden im Tricaster in quasi-Echtzeit rausgekeyt. Vorher mussten allerdings die beiden realen und danach das virtuelle Set angeglichen werden.
Im Idealfall sollte dafür an den Sets identische Hardware genutzt werden. Wir hatten an beiden Standorten motorisierte PTZ-Kameras, die im selben Abstand und Winkel zu den beiden Stühlen ausgerichtet wurden. Die Feinjustierung über zwei übereinander gelegte halbtransparente Kamerasignale der Totalen zeigte sich als praktikabel, erforderte aber einiges an Geduld.
.jpg)
Bei der Ausleuchtung mussten wir einen Spagat schaffen zwischen technischem Grundlicht für einen sauberen Key und einem gestalterischen Licht, welches die Atmosphäre der Interviewsituation unterstreicht. Dann wurden Kameraperspektiven, Personen, Stühle und Parkett in den virtuellen Raum übertragen.
Da der Übergang vom physischen Holzbodens aus dem Hauptset in die Raumflucht des digitalen Äquivalents sich kaum realistisch darstellen ließ, entschieden wir uns dafür, doch noch einen grünen Boden auszulegen und den Schatten mit Hilfe des Ultra-Keyers im Tricaster in den Alphakanal und damit ins fertige Bild zu übertragen.
Ob das Format letztlich in unser Portfolio übernommen und den Kunden angeboten werden kann, hing entscheidend von der Natürlichkeit der Konversation ab. Also wie gut die Protagonisten aufeinander eingehen können und ob Reaktionssekunden das Gespräch zum Stocken bringen.
Wir wussten aus den Tests zur Signalübertragung, dass die Kamera und Tonsignale der PTZs über SRT mit zwei Sekunden Verzögerung auf dem Set-Monitor der jeweiligen Gesprächspartner dargestellt wurden. Nimmt man da dann noch die natürliche Reaktionszeit dazu, gerät der Gesprächsfluss ins Stocken.
Anders sah das bei einer Konversation über Zoom aus. Hier ist ein Gespräch in gefühlter Echtzeit möglich, auch weil die visuellen Daten komprimierter sind. Sogar gemeinsam einen Song performen ist darüber möglich.
Die smarteste Lösung war für uns also, die Konversation und Vorschaumonitore der Protagonisten im Greenscreen-Set über eine Zoom-Konferenz zu leiten und die Kamerasignale (Totale und Nahe) parallel dazu über SRT ins Regie-Studio zu schicken. Im Newtek Tricaster 2 wurden dann die qualitativ hochwertigen Signale mit 2 Sekunden Verzögerung zusammengeführt. Die Zoom-Audio wurde nur für die Konversation, aber nicht mehr für das Endprodukt benötigt.
Die Verbindung von zwei Set-Standorten ist für uns ohne Probleme möglich. Das Format “Virtuelles Interview” hat das Zeug dazu, Inhalte grundsätzlich attraktiver zu gestalten und unseren Kunden einen echten Mehrwert zu bieten, der sich von der Masse virtuellen Events abhebt.
Die Kommunikation zwischen beiden Protagonisten (über Zoom oder SRT) ist trotz eines geringen Delays möglich und produktionstauglich. Die Nutzung unseres Urban-Regiestudios für das Keying an einem Ort ist sinnvoll und technisch trotz Komprimierung möglich.
NDI’s statt SDI als Ausgabemedium bieten sich an, da in dem Szenario immer ein Greenscreen von außerhalb zugeschaltet und die Daten ins Regiestudio übertragen werden müssen. Die Bildqualifikation ist optimal für Publikationen über Social Media-Plattformen.
Dynamische 3D-Hintergründe schaffen Flexibilität für Licht (Tag/Nacht), Kameraperspektiven inklusive Tiefenunschärfe. Durch die Unreal Engine als Background-Input kann weiterhin der TriCaster als Broadcasting System verwendet werden und im Zweifel auf eine Backup Lösung zurückgreifen - wie statisches Hintergrundbild (bis Unreal wieder online ist).
Alle Infos zu unserem Urban Studio Berlin gibt's hier.
