Rozszerzona rzeczywistość na ratunek. Anulowanie NAB 2022-2023 z powodu pandemii COVID-19 wywołało wstrząs w całej branży nadawczej. Odbywające się corocznie w Las Vegas targi NAB to największe targi telewizyjne, w których uczestniczy ponad 90 000 uczestników z ponad 160 krajów. Większość z 1600 wystawców wprowadza nowe produkty i technologie, aw przypadku wielu dużych firm planowanie trwa nawet do sześciu miesięcy. W bardzo krótkim czasie zespół Panasonic Pro Video musiał wymyślić alternatywy, aby przekazać swoje przesłanie podczas pracy zdalnej z domu.
Audio + wideo + IT. Nasi redaktorzy są ekspertami w integracji audio, wideo i IT. Otrzymuj codzienne spostrzeżenia, wiadomości i profesjonalne kontakty. Zasubskrybuj Pro AV już dziś
W dniach poprzedzających odwołanie targów NAB Show zespół Panasonic zaczął rozważać opcje zorganizowania imprezy zastępczej, w tym pomysł zbudowania fizycznego stoiska, z którego klienci mogliby korzystać online. Zespół Panasonic Pro Video prowadził również rozmowy z Paulem Lacombe, dyrektorem generalnym DisruptAR z Nowej Anglii, który specjalizuje się w tworzeniu wirtualnych produkcji. Po ukończeniu studiów rozpoczął karierę w General Motors. Lacombe przez 30 lat pracował w branży produkcyjnej, zaczynając od Silicon Graphics pod koniec lat 80., zanim wyruszył na własną rękę, aby rozpocząć wirtualną produkcję. DisruptAR koncentruje się na obniżaniu kosztów produkcji AR i VR na szerszym rynku.
- Infrastruktura przesyłania strumieniowego Esports Training Factory
- Citizen Cope debiutuje jako przestrzeń koncertowa Covid-safe
- Remote Learning: Jak sprawić, by zdalna orkiestra działała
- Najlepsze kamery PTZ do transmisji na żywo
16 marca w New Jersey, gdzie znajduje się siedziba Panasonic w USA, oficjalnie zamknięto; 18 marca Lacombe zaplanował pierwsze demo dla zespołu Panasonic. Wystawa NAB 2022-2023 została odwołana 20 marca. ”
Musieliśmy bardzo szybko zdecydować między tymi dwiema opcjami ”- ujawnia dyrektor techniczny Panasonic, Harry Patel. „Pierwsza opcja wymagała fizycznego zbudowania budki, wniesienia produktu z zachowaniem wymogów dystansu społecznego (mniej niż 10 osób na raz) i sprowadzenia ekipy filmowej. Nie było to praktyczne i chcieliśmy zrobić coś o wyższej jakości, mimo że nie mogliśmy wyjść z domu. W końcu pomysł wirtualnego wydarzenia był dyskutowany dalej i został zatwierdzony do końca marca ”.
Rzeczywistość rozszerzona i zdalna produkcja
Produkcja zdalna nie jest nową koncepcją. Reżyser Francis Ford Coppola wyreżyserował i zmontował wiele scen ze swojego filmu One From the Heart z 1982 roku, z przyczepy niedaleko planu. Ale tworzenie produkcji zdalnie z domu podczas globalnej pandemii to już inna historia. Było to możliwe tylko dzięki zastosowaniu najnowocześniejszej technologii kamer, silników gier VR i aplikacji opartych na chmurze.
Pierwszym celem firmy Panasonic było stworzenie jasnego przekazu z komunikacją werbalną i pisemną przetłumaczoną na bardziej wizualny format wideo. W NAB sprzedawcy zazwyczaj komunikowali się z klientami na hali wystawowej, omawiając rozwiązania problemów każdej osoby. Marketing Group Manager Jim Wickizer i agencja P.R., Racepoint Global, byli w stanie opracować spójny przekaz i współpracowali z poszczególnymi menedżerami produktu, aby przedstawić właściwe tematy do dyskusji.
Patel i Wickizer rozpoczęli również zdalną współpracę z Lacombe z jego domowego studia, aby stworzyć wywiady wideo między menedżerami produktu a prowadzącą studio, Zoe Laiz, którzy mieli omówić nowe produkty i technologie. „Wszyscy mieliśmy trudne środowiska produkcyjne, ale zrobienie tego zdalnie z tym harmonogramem było zdecydowanie wielkim krokiem wiary” - wyjaśnia Lacombe. „W głębi duszy wiedziałem, że to może zadziałać, ale nigdy wcześniej tego nie robiłem”.
Do zdalnego nagrywania każdy menedżer produktu otrzymał laptop, mikrofon Blue Yeti USB i profesjonalną kamerę PTZ Panasonic AW-HE42 Full-HD. HE42 został podłączony przez Ethernet i wirtualny sterownik USB PTZ, a wideo zostało przeniesione do laptopa za pomocą OBS do nagrywania i TeamViewer do zdalnego sterowania.
Rozszerzona rzeczywistość i zespoły MS
Do komunikacji, udostępniania plików, oglądania pokazów i monitorowania zdalnych sesji produkcyjnych firma Panasonic wykorzystała Microsoft Teams, platformę do komunikacji i współpracy. Z dnia na dzień platformy takie jak Teams, Zoom, Ring Central i wiele innych umożliwiły ludziom i firmom bezpieczną komunikację ze światem zewnętrznym z ich domów.
Aby zobaczyć, co Lacombe nagrywał na planie podczas produkcji, Patel użył udostępniania Teams Screen, tworząc quad split za pomocą wyjścia przełącznika AV-UHS500 do konwertera z SDI na USB. Źródło USB było prezentowane w systemie Windows jako źródło z kamery, które udostępniali za pośrednictwem aplikacji Teams.
Nadzorując nagranie starszego wiceprezesa ds. Profesjonalnych systemów obrazowania i systemów wizualnych Johna Baisleya, otwierając przemówienie, Patel i Wickizer mogli za pośrednictwem zespołu Teams obejrzeć salon Baisleya na żywo i udzielić wskazówek, czy był to błąd odczytu linii, zmiana tła czy problem techniczny. problem z dźwiękiem. Dzięki zespołom Patel był również w stanie wskazywać kierunek ekranu, obserwując zarówno zielony ekran, jak i wirtualny zestaw widoków. „Gdyby Zoey stała tuż za drzwiami i wchodziła, moglibyśmy naprawdę zobaczyć, czy strzał był dobry” - wyjaśnia Patel. „Powiedziałbym Paulowi za pośrednictwem aplikacji Teams:„ Mogłoby działać lepiej, gdyby przesunęła się odrobinę dobrze ”. Jeśli chodzi o współpracę zdalną, nie sądzę, by było to możliwe bez korzystania z Teams.”
„Fajnie było robić to zdalnie” - dodaje Wickizer. „Mieliśmy osobę w Bostonie, Harry i ja byliśmy w naszych domach w New Jersey, a drugą mieliśmy na Zachodnim Wybrzeżu. Moja córka zeszła kiedyś do naszej piwnicy i zapytała, co robię. „Robimy zdalną produkcję” - powiedziałem jej. Naprawdę nie mogła w to uwierzyć ”.
Free-D i Unreal Engine
Aby włączyć realistyczne zestawy VR do produkcji na żywo, niezbędne jest rejestrowanie dokładnych danych o położeniu kamery. Przed zaprezentowaniem swojego pierwszego demo dla Panasonic, DisruptAR opracował sterownik Free-D, który umożliwiłby podłączenie kamery AW-UE150 4K Pro PTZ bezpośrednio do silnika Unreal Engine, co zapewniło mu możliwość wyświetlania informacji Pan / Tilt / Zoom / Iris przez IP (UDP) bezpośrednio z kamery do systemu śledzenia Unreal na żywo, bez potrzeby stosowania dodatkowych czujników lub koderów.
„Free-D pochodzi z BBC we wczesnych latach 90. jako protokół śledzenia dla jednego z ich systemów śledzenia kamer” - wyjaśnia Lacombe. „Definiuje sześć stopni swobody - przesuwanie, pochylenie, przechylenie, X, Y, Z, a także pole widzenia, powiększenie i ostrość. Te wartości są przesyłane do silnika renderowania wirtualnego i podłączane do wirtualnej kamery, dzięki czemu tło reaguje odpowiednio w czasie rzeczywistym z szybkością 60 klatek na sekundę ”.
Według Lacombe silnik Unreal Engine był używany w wielu produkcjach - od Króla Lwa po Mandalorianina. „Jest to podstawowa technologia używana obecnie przez większość Hollywood” - mówi Lacombe. „W większości używają go jako proxy, ale celem jest„ ostatni piksel ”, czyli wszystko, co widzisz w czasie rzeczywistym, jest tym, co dzieje się na ekranie”.
„Unreal Engine to silnik gier, który został zastosowany na innych rynkach, w tym w architekturze, wizualizacji CAD, aw tym przypadku w transmisji i filmie” - mówi Lacombe. „Używamy go, aby osiągnąć najwyższy poziom fotorealizmu, czerpiąc zasoby z tradycyjnych narzędzi DCC, takich jak Maya, 3D Studio Max, Blender, używając kart graficznych NVIDIA z szybkością 60 klatek na sekundę, dając widzom wierność cech obiektywu, takich jak kwitnienie, flary i rozogniskowanie. Jakość, której potrzebujesz, aby uzyskać fotorealizm i renderowanie z prędkością 60 klatek na sekundę, jest zasadniczo tym, co robi silnik Unreal Engine. ”
Tworzenie wirtualnego świata… w garażu
Studio Lacombe znajduje się w jego przerobionym garażu o wymiarach tylko 20 x 24, a jego załoga składała się tylko z jednego asystenta. Na zielonym ekranie użył tła Pro Cyc Portable. Ze względu na ograniczenia przestrzenne Laiz mógł przejść tylko kilka kroków, więc były ograniczone do kamer, co czyniło AW-UE150 idealnym narzędziem do tego zadania. Do oświetlenia swojego zielonego ekranu Lacombe użył 14-calowych paneli LED. „Chodzi o to, że naprawdę chcesz mieć jeden odcień zieleni i pozbyć się wszystkich plam, aby Twój kluczowiec mógł zachować te cienie”, wyjaśnia Lacombe. „Wybierasz jedną zieleń, którą chcesz wyodrębnić, a ciemniejsze zielenie to cienie nałożone na Twój wirtualny zestaw”.
Mimo że pracował na małych przestrzeniach swojego garażu, musiał oświetlić swój talent zmotywowanym światłem dużego studia. Aby oświetlić Laiz, Lacombe użył dwóch paneli LED jako klucza i wypełnienia. Użył również kilku reflektorów z góry, aby zasymulować czerwonawe światło wpadające przez okna. „Zasadniczo staramy się dopasować ten kierunek i tę temperaturę barwową, nie wpływając jednocześnie na zielony ekran” - ujawnia Lacombe. „To wyzwanie, ponieważ próbujesz oddzielić talent od zielonego ekranu. Drzwi do stodoły na tych diodach LED dawały nam więcej miejsca, ale staraliśmy się uciec od zieleni i uzyskać minimalne odbicie od zieleni na jej ubraniu i skórze ”.
Na planie Lacombe użył dwóch kamer UE150: kamera 1 była po lewej stronie, a kamera 2 po prawej. Kiedy Zoe odwracała się, by spojrzeć na menedżera produktu na pionowym monitorze, przełączał się na drugą kamerę na poziomie oczu Laiz, aby uzyskać symulowany punkt widzenia menedżera produktu. Dopasowanie linii oczu jest wyzwaniem, ale Lacombe mówi, że może to trochę oszukać, wiedząc, gdzie była jego ustawiona pozycja domowa. „Gdybyś miał dwie kamery, jedną znajdującą się pod kątem 90 stopni do drugiej w odległości ośmiu stóp, a drugą cztery stopy dalej, możesz dokonać pomiaru taśmą mierniczą i umieścić je w wirtualnym świecie w tej samej pozycji. Będą przylgnąć do siebie zgodnie z prawami fizyki, tak aby wyglądały, jakby znajdowały się w tej dokładnej pozycji. A potem możesz trochę oszukać w ramach tych wytycznych ”.
Projekt produkcyjny jednym kliknięciem
Do zaprojektowania wirtualnego zestawu Lacombe wykorzystał zmodyfikowany projekt, nad którym pracował z innym klientem w zeszłym roku. Projekt został wykonany w Maya i wyeksportowany do Unreal. Ponieważ wirtualny set rozgrywa się w nocy, początkowo mieli ciemniejszy wygląd, ale potem zdecydowali się rozjaśnić go odrobinę. Dodał logo Panasonic i usunął elementy, które nie były istotne dla zestawu Panasonic. Dodał również monitor wychodzący z podłogi, z którego wychodzi Laiz.
Podczas tworzenia własnego wirtualnego zestawu, według Lacombe, istnieje więcej zasobów 3D, które są dostępne od czasu, gdy wizualizacja architektoniczna online naprawdę się rozwinęła. Możesz przejść do biblioteki 3D i znaleźć zasoby lub modele 3D i zbudować je w zależności od wymagań dotyczących dostosowywania. „To naprawdę wymiana zdań z klientem” - wyjaśnia Lacombe. „Dodajesz komponenty marketingowe, branding, wszystkie kolory i materiały. Gdy masz już zasób, możesz burzyć ściany za pomocą przycisku, klikać lub przesuwać rzeczy, dostosowywać monitory w czasie rzeczywistym. W „świecie fizycznym” zajęłoby to dużo czasu i pieniędzy. Po zbudowaniu rzeczy można ją łatwo dostosować i wrócić do niej ”.
Zachowanie bezpiecznej odległości
Wirtualna produkcja ewoluowała przez dziesięciolecia dzięki doświadczeniu i udoskonaleniom. Chociaż role produkcji fizycznej i produkcji wirtualnej są zasadniczo takie same, największą różnicą jest to, że wszyscy pracują w tej samej przestrzeni fizycznej. Po uchyleniu rozporządzenia dotyczącego pozostawania w domu, wciąż trwa ustalanie, czy prawdziwa zdalna produkcja stanie się normą.
„Jest powód, dla którego ktoś patrzy na klucz, ktoś patrzy na scenariusz, ktoś patrzy na kąty kamery i garderobę” - mówi Lacombe. Wszystkie te role nadal muszą zostać wypełnione, a my po prostu próbujemy znaleźć najlepszy sposób, aby to zrobić zdalnie. Do tej pory wszystko się udało i wszyscy jesteśmy zaskoczeni tym, jak szybko to wszystko ułożyło się i ewoluowało w naturalny sposób. Chociaż musieliśmy nosić więcej czapek więcej, niż byśmy chcieli w tej produkcji, następnym logicznym krokiem jest dalsze rozpowszechnienie tego, aby inni zaangażowani byli w udoskonalenie i ulepszenie procesu. Ale po raz pierwszy poza bramą jestem bardzo zadowolony z wyników i nie mogę się doczekać następnego kroku ”.
Aby obejrzeć wirtualne wydarzenie Panasonic, Przyszłość produkcji wideo , kliknij tutaj.
Aby uzyskać więcej informacji na temat DisruptAR, odwiedź www.disruptar.com.