Dziś skupiam się wąsko na wszechstronnym kodowaniu wideo (VVC) i jego potencjale komercyjnego sukcesu. Aby uzyskać dodatkowe informacje, spójrz na mój artykuł, Jak przewidzieć sukces kodeka - zidentyfikowałem dziewięć pytań, które ujawniają krytyczne czynniki, które w dużej mierze będą decydować o tym, czy i kiedy kodek osiągnie komercyjny sukces.
Mając to na uwadze, zastosuję te pytania do Versatile Video Coding (VVC), opartego na standardach kodeka, który został ukończony w lipcu. Proponuję przynajmniej zeskanować artykuł o sukcesie kodeków przed przeczytaniem tego.
Jednym z pytań, których nie rozważam, są innowacje techniczne zastosowane w nowym kodeku. Jeśli więc chcesz dowiedzieć się więcej o podstawach technicznych VVC, zapoznaj się z tym artykułem. Przejdę od razu do pytań.
NEWSLETTER PROAudio + wideo + IT. Nasi redaktorzy są ekspertami w integracji audio / wideo i IT. Otrzymuj codzienne spostrzeżenia, wiadomości i profesjonalne kontakty. Zasubskrybuj Pro AV już dziś.
1. Jaka jest porównawcza wydajność kodeka?
Oczywiście porównawcza wydajność kodeka decyduje o tym, ile przepustowości może zapewnić oszczędność kodeka, co jest jedną z kluczowych korzyści. W porównaniu z HEVC, w komunikacie prasowym ITU-T obiecuje się, że „VVC będzie potrzebować tylko połowy szybkości transmisji swojego poprzednika„ High Efficiency Video Coding ”, aby osiągnąć ten sam poziom jakości wideo dla treści wideo o wysokiej rozdzielczości”. Qualcomm jest nieco mniej optymistyczny, stwierdzając, że „VVC… oferuje 40% redukcję rozmiaru pliku w porównaniu z poprzednim standardem, HEVC, przy zachowaniu tego samego poziomu jakości wideo.
Najnowsza biała księga na ten temat to Porównanie VVC, HEVC i AV1 przy użyciu oceny obiektywnej i subiektywnej. Tabela III, pokazana poniżej, przedstawia dwa z najbardziej odpowiednich przypadków testowych rozważanych przez badaczy, wideo UHD i HD oraz porównuje AV1 i VVC (zwane w tabeli VTM) z HEVC przy użyciu dwóch obiektywnych metryk, PSNR i VMAF.
- Jak rozumieć rozwiązania do przesyłania strumieniowego o małych opóźnieniach
- Poradnik porównawczy transmisji na żywo
Linia Średnia na dole opowiada historię. Czytając od lewej do prawej, używając PSNR jako metryki, AV1 zapewnia taką samą jakość jak HEVC z redukcją szybkości transmisji danych o 7,3%, podczas gdy VVC (ponownie VTM) zapewnia tę samą jakość przy zmniejszeniu szybkości transmisji danych o 28,5%. Skanując wszystkie wyniki VTM, pokazują średnio nieco mniej niż 30% w porównaniu z HEVC.
Te ustalenia nie obalają wyników ITU-T ani Qualcomm, ponieważ kodeki ogólnie poprawiają swoją wydajność w czasie. Mimo to udowodnione korzyści dzisiaj wydają się bliższe 30% niż 50%, co jest znaczące, ale nie przełomowe.
Jak zauważyłem w artykule z Dziewięć pytań, „zdecydowana większość nowych wdrożeń kodeków nie ma na celu zaoszczędzenia przepustowości ani innych usprawnień dostarczania. Tylko wskazówka wydawców piramid, takich jak Netflix, Facebook i YouTube, wdrożyła VP9, mimo że obecnie jest on około 35-40% bardziej wydajny niż x264. Wydawcy zazwyczaj przyjmują nowe kodeki, takie jak HEVC, ponieważ otwiera to rynki dla nowych klientów ”.
To świetne wprowadzenie do pytania 2.
2. Jakie nowe rynki lub platformy umożliwia kodek?
Patrząc wstecz, H.264 został bardzo szybko wdrożony przez wydawców zajmujących się transmisją strumieniową, ponieważ umożliwiał dostarczanie na urządzenia mobilne, czego nie oferował poprzedni kodek, VP6. Podobnie większość wydawców, którzy wdrażają HEVC, robi to, aby wysyłać filmy 4K SDR / HDR do telewizorów SmartTV - rynku, którego nie mogliby tanio obsługiwać z H.264.
Jak omówimy za chwilę, VVC jest co najmniej 2-3 lata poza znaczącymi wdrożeniami. Być może w tamtych czasach 8K lub VR będą nowymi i atrakcyjnymi rynkami, chociaż powszechnie uznaje się, że bez dużego zakresu dynamiki wideo 4K trudno jest odróżnić od HD w większości konfiguracji. W najlepszym przypadku w tym momencie po prostu nie wiemy, czy VVC umożliwi nowe rynki, czy nie.
3. Jaki jest czas kodowania?
Czas kodowania przekłada się bezpośrednio na koszt kodowania; im więcej kosztuje kodowanie za pomocą kodeka, tym trudniej jest osiągnąć rentowność oszczędności przepustowości, zwłaszcza gdy koszty dystrybucji (w kosztach na GB) stale spadają.
W białej księdze porównano czasy kodowania VVC (ponownie VTM) i AV1 z kodowaniem HEVC znormalizowanym do 1,0 (HM w tabeli) i uzyskano wyniki pokazane w tabeli 2. Tutaj widać, że kodowanie VVC trwa 7-9 razy dłużej niż HEVC. Jeśli prowadzisz własną farmę kodującą, oznacza to, że kodowanie VVC będzie 7-9 razy droższe niż kodowanie HEVC. Jeśli korzystasz z usługodawcy, spodziewaj się podobnego wzrostu cen.
Powinienem zauważyć, że obserwacje białej księgi dotyczące AV1 były oparte na AV1 w wersji 1.0, aw maju 2022-2023 roku AOM wypuścił AV1 w wersji 2.0. Chociaż poprawa jakości była minimalna, AV1 jest na tym etapie znacznie szybszym koderem. Tak więc, chociaż obserwacje jakości związane z AV1 w białej księdze są prawdopodobnie nadal aktualne, obserwacje związane z wydajnością są prawdopodobnie nieaktualne.
W związku z tym należy również oczekiwać, że kodowanie VVC stanie się z czasem bardziej wydajne i nie pozostanie na poziomie 7-9x HEVC.
4. Czy VVC można zaimplementować w oprogramowaniu na odpowiednich platformach?
Prawdopodobnie nie. Jak wszyscy osobiście wiemy, żywotność baterii jest najważniejsza, jeśli chodzi o użytkowanie mobilne. Z punktu widzenia złożoności dekodowania, VVC jest 1-2 razy bardziej złożone niż HEVC według tego badania i wymaga 167% czasu dekodowania HEVC w tym raporcie.
Tak więc, chociaż VVC może być odtwarzane na komputerach (więcej na ten temat w następnej sesji) bez wsparcia sprzętowego, prawdopodobnie nie zostanie wdrożone na urządzeniach mobilnych, dopóki nie będzie dostępne dekodowanie sprzętowe. Praktyczna zasada dotycząca obsługi sprzętu to rok po sfinalizowaniu kodeka, aby produkty na poziomie chipów stały się dostępne, oraz kolejny rok, gdy produkty dla użytkowników końcowych oparte na tych chipach trafią na rynek.
W najlepszym przypadku oznacza to jesień 2022 roku na mobilne wsparcie sprzętowe. To samo dotyczy telewizorów SmartTV i urządzeń OTT / STB, które do tego czasu również nie będą miały wsparcia sprzętowego.
5. Czy Alliance for Open Media (AOM) obsługuje kodek?
Prawdopodobnie nie. Członkowie Alliance for Open Media to programiści, producenci chipów i urządzeń, firmy dostarczające treści i usługodawcy, którzy wspólnie opracowali i uruchomili kodek AV1. Ponieważ Google i Mozilla są członkami, ich przeglądarki, Chrome i Firefox, od dawna obsługują AV1, ale żadna z nich nie obsługuje kodeka HEVC nawet na platformach, na których system operacyjny już obsługuje ten kodek.
To subtelna, ale ważna kwestia; Google i Mozilla prawdopodobnie mogłyby obsługiwać HEVC w systemach z istniejącą sprzętową obsługą HEVC bez ponoszenia opłat licencyjnych, ponieważ w ten sposób Mozilla obsługuje H.264 na niektórych platformach (więcej szczegółów znajdziesz tutaj). Systemy z obsługą HEVC obejmują wszystkie nowe komputery Mac i urządzenia Apple, wiele nowych komputerów z systemem Windows i większość nowych urządzeń z systemem Android. Nie możesz jednak grać w HEVC w Chrome, Firefox lub Edge - Microsoft jest również członkiem AOM - ponieważ żadna z tych firm nie dodała obsługi tego sprzętu.
Trudno sobie wyobrazić, że jakikolwiek programista przeglądarki AOM rozszerzy obsługę VVC. Tak więc, mimo że VVC prawdopodobnie mógłby grać bez wsparcia sprzętowego na komputerach i notebookach (gdzie żywotność baterii nie jest tak dużym problemem), brak wsparcia w Chrome i Firefox skomplikuje odtwarzanie na tych urządzeniach i zniechęci do adopcji.
6. Czy kodek jest standardem MPEG?
Tak, i ogólnie jest to dobra rzecz. Ale po klęsce tantiem, która zniechęciła do obsługi HEVC, nie jest to raczej gwarancja sukcesu kodeka, jak w przypadku H.264 i MPEG-2.
7. Jaki jest model własności technologii i model zarabiania?
Im czystszy jest model własności technologii i model monetyzacji, tym łatwiej jest ustalić ostateczny koszt licencji. VVC to prawdziwy kodek MPEG opracowany przez dziesiątki, jeśli nie setki współpracowników, a ich wysiłki związane z rozwojem zostaną spieniężone dzięki licencjonowaniu.
Jak przeczytasz w następnej sekcji, oznacza to, że może minąć trochę czasu, zanim poznamy strukturę tantiem VVC.
8. Jak ustalona jest struktura tantiem?
W tej chwili jest to całkowicie nieznane. Zrozum, że przed wprowadzeniem kodeka HEVC wiele firm zobowiązało się do wspierania nowych kodeków sprzętowych, zanim znane były koszty tantiem, ponieważ zakładały, że koszty byłyby rozsądne. Zmieniło się to w przypadku HEVC, który nadal jest bałaganem. Tak więc oczekuje się, że więksi producenci, tacy jak Apple i Samsung, będą sprzeciwiać się wspieraniu nowego kodeka, dopóki struktura opłat licencyjnych nie zostanie wyjaśniona.
W 2022-2023 roku grupa branżowa zwana Media Coding Industry Forum (MC-IF) została utworzona, aby pomóc właścicielom VVC IP w sformułowaniu bardziej spójnej i przystępnej cenowo tantiem dla VVC. W lipcu 2022-2023 r. MC-IF rozpoczął formalne wysiłki związane z „wspieraniem patentów”, aby pomóc w utworzeniu jednej puli patentów dla VVC. Jednak jeden z trzech administratorów puli patentów HEVC, HEVC Advance, niedawno ogłosił swój własny proponowany program licencjonowania VVC, który był postrzegany jako próba uderzenia wyprzedzającego przez co najmniej jednego innego administratora puli.
W najlepszym przypadku proces wspierania patentów doprowadziłby do wyboru administratora (lub administratorów) puli patentów do końca 2022-2023 r., Ale nie ma żadnych gwarancji. Tak więc w tym momencie struktura opłat licencyjnych jest nieznana, a perspektywy jednej puli są wątpliwe.
9. Czy istnieje tantiemy za zawartość?
Tak samo. W tym momencie nie wiemy.
Co to wszystko znaczy? Najlepszy przypadek, biorąc pod uwagę dwuletni cykl sprzętowy między sfinalizowaniem kodeka a pojawieniem się w produktach konsumenckich, będzie 2022 r., Aż urządzenia z dekodowaniem VVC trafią na rynek, a to będą dribsy i szare. Osiągnięcie odpowiedniej masy krytycznej przez zainstalowaną bazę zajmie znacznie więcej czasu. Ta adopcja może zostać opóźniona do czasu ustalenia praw autorskich, co prawdopodobnie nastąpi dopiero w połowie 2022-2023 roku.
Jeśli jesteś producentem strumieniowym i martwisz się, że przegapisz łódź na VVC, zgłoś ten problem w pliku „martwić się o 2022”.