Krajobraz kodeków się zmienia, a sześć nowych kodeków pojawi się pod koniec 2022-2023 r. Na początku 2022-2023 r. Większość producentów strumieniowego przesyłania wideo kodowała wyłącznie kodek H.264, który zadebiutował w 2003 r. Niektórzy więksi wydawcy, tacy jak Netflix, Amazon, YouTube i Facebook, również wdrożyli opartego na standardach następcę H.264, kodek HEVC i / lub kodek Google VP9. Grupa producentów eksperymentowała z sojuszem na rzecz kodeka AV1 firmy Open Media. Oprócz tych czterech istniejących kodeków, w 2022-2023 roku MPEG wprowadzi trzy nowe kodeki: Versatile Video Coding (VVC), Essential Video Coding (EVC) i Low Complexity Enhancement Video Coding (LCEVC).
Mając do rozważenia sześć nowych kodeków do końca 2022-2023 r., Warto przeanalizować czynniki, które przyczyniają się do pomyślnego przyjęcia kodeka. W tym artykule omówię te czynniki przy użyciu H.264 i HEVC i utworzę strukturę analityczną, której użyję w przyszłych artykułach, aby ograniczyć potencjalny sukces AV1 i trzech nowych kodeków MPEG.
Zwróć uwagę, że będę pisać głównie z perspektywy wydawcy; nie z perspektywy odtwarzacza lub dostawcy kodera.
- Zrozumienie rozwiązań do przesyłania strumieniowego o małych opóźnieniach
- Najlepsze kamery PTZ, urządzenia do przechwytywania i przesyłania strumieniowego
1. Jaka jest porównawcza wydajność kodeka?
Najważniejszą rolą kodeka jest zmniejszenie rozmiaru strumienia wymaganego do dostarczania wideo naszym widzom. W wielu przypadkach wydajność jest mierzona względem H.264. Widać to na rysunku 1, z raportu porównawczego HEVC z 2015 roku z Moskiewskiego Uniwersytetu Państwowego (MSU). Tytułem wyjaśnienia, MSU zawsze prezentuje swoje dane przy użyciu x264, jednego z kilku kodeków H.264, z 100% jakością. Następnie dla każdego innego kodeka pokazuje procentowe zmniejszenie lub zwiększenie szybkości transmisji danych niezbędne do uzyskania tej samej jakości co x264.
Na przykład na wykresie kodek x265 może zapewnić taką samą jakość jak x264 przy 74% szybkości transmisji bitów lub oszczędności około 26%. Kodek VP9 nie jest tak daleko w tyle, z 77% lub oszczędnością około 23% w porównaniu z x264.
Oszczędności te stanowią główną korzyść pieniężną zapewnianą przez nowsze kodeki. Wdrożenie x265 w 2015 roku obniżyłoby koszty przepustowości dla dostarczania wideo o takiej samej jakości do odtwarzaczy obsługujących HEVC o 26%. VP9 obniżyłby koszty przepustowości o 23%.
Potraktuj adaptację kodeka jako analizę progu rentowności. Istnieją dwa źródła napływów; oszczędności na dostawę do obecnych klientów, które właśnie omówiliśmy, oraz dodatkowe przychody dla klientów na nowych rynkach, które omówię w następnej sekcji. Wdrażanie kodeków wiąże się z wieloma kosztami. W najbliższej przyszłości będziesz dostarczać wideo zakodowane w H.264, więc koszty kodowania i przechowywania nowych kodeków sumują się. Musisz także zaktualizować odtwarzacz i przeprowadzić pewne testy i kontrolę jakości.
Oszczędności związane z przepustowością są oczywiście związane z liczbą widzów dla każdego filmu. Oto prosty przykład. Załóżmy, że kodowanie do drabiny kodowania HEVC kosztuje 20,00 USD i że zaoszczędziłeś 0,01 USD na kosztach przepustowości na przeglądarkę. Gdy 2000 widzów obejrzy film, pokryjesz ten koszt. Jeśli 2 miliony widzów obejrzy ten film, zaoszczędziłeś 20 000 USD na kosztach przepustowości. Dlatego dużym firmom, takim jak Netflix, YouTube, Amazon i Facebook, łatwiej jest wdrażać nowe kody.
Niezależnie od rozmiaru, gdy oszczędności lub nowe przychody związane z nowym kodekiem przekraczają koszty wdrożenia i inne koszty, wdrożenie nowego kodeka ma sens finansowy. Oczywiście im większa wydajność kompresji w porównaniu z istniejącym rozwiązaniem, tym większe oszczędności przepustowości.
Pomijając to wszystko, zdecydowana większość nowych wdrożeń kodeków nie ma na celu zaoszczędzenia przepustowości ani innych usprawnień dostarczania. Tylko wskazówka wydawców piramid, takich jak Netflix, Facebook i YouTube, wdrożyła VP9, mimo że obecnie jest on około 35-40% bardziej wydajny niż x264. Wydawcy zazwyczaj przyjmują nowe kodeki, takie jak HEVC, ponieważ otwiera to rynki dla nowych klientów.
To prowadzi do następnego pytania.
NEWSLETTER PROAudio + wideo + IT. Nasi redaktorzy są ekspertami w integracji audio / wideo i IT. Otrzymuj codzienne spostrzeżenia, wiadomości i profesjonalne kontakty. Zasubskrybuj Pro AV już dziś.
2. Jakie nowe rynki lub platformy umożliwia kodek?
Kiedy Adobe dodał odtwarzanie H.264 do Flasha w 2007 roku, H.264 był tylko około 15% bardziej wydajny niż kodek VP6, który był najczęściej używanym kodekiem Flash przed H.264. Dlaczego pomimo tych skromnych oszczędności większość wydawców przeszła na H.264 szybko i całkowicie? Ponieważ podczas gdy VP6 nie działało na iPodach, iPhone'ach ani innych urządzeniach mobilnych, H.264 tak. Dzięki H.264 zarówno we Flashu, jak i dominującemu kodekowi na urządzeniach mobilnych, wydawcy mogą zrezygnować z VP6 i dotrzeć na dwa rynki z jednym kodekiem, co nie wymaga myślenia.
Podobnie większość wydawców wdrożyło HEVC, aby dostarczać filmy 4K i / lub HDR do telewizorów Smart TV, dekoderów i urządzeń OTT. Na przykład w swoim raporcie Global Media Format Report z 2022-2023 r., Który opisał ich produkcję w 2022-2023 r., Encoding.com poinformował, że „spodziewamy się bardzo znaczącego wzrostu wolumenu w 2022-2023 r. Napędzanego treścią UHD HDR, ponieważ oba standardy HDR premium Dolby Vision i HDR + odwzorowują format wideo HEVC ”. Niestety, encoding.com nie zaktualizował tego raportu dotyczącego wyników z 2022-2023 roku.
Podobnie, w końcu Apple zaczął obsługiwać VP9 lub AV1 na swoich urządzeniach 4K AppleTV, aby ich widzowie mogli oglądać filmy 4K na YouTube. To zapowiada znaczenie, jakie Alliance dla dostawców Open Media, takich jak Facebook, Netflix, YouTube i Amazon, będzie miało dla przyjęcia AV1.
Najważniejsze jest to, że jeśli kodek nie umożliwia nowych rynków, jedyną korzyścią jest oszczędność przepustowości. Jak wspomniano, z jakiegokolwiek powodu, poza największymi wydawcami wideo, niewielu innych uznało te oszczędności za wystarczającą motywację do wdrażania nowych kodeków.
3. Jaki jest czas kodowania?
Rozmawialiśmy o analizie rentowności. Zadaję to pytanie, ponieważ czas kodowania przekłada się bezpośrednio na koszt kodowania, a im wyższy koszt, tym trudniej jest osiągnąć rentowność.
Na przykład AWS Elemental MediaConvert pobiera 0,024 USD za minutę za kodowanie H.264, 0,048 USD za minutę za kodowanie HEVC i 0,864 USD za minutę za kodowanie AV1. Na szczęście czasy kodowania AV1 znacznie się skróciły w ciągu ostatnich kilku miesięcy i jestem pewien, że ceny Elemental również spadną. Mimo to, gdy czasy kodowania są tak lodowate jak kiedyś AV1, potrzebujesz milionów wyświetleń, aby zgromadzić oszczędności przepustowości niezbędne do osiągnięcia rentowności.
4. Czy można to zaimplementować w oprogramowaniu na odpowiednich platformach?
To pytanie mówi o tym, jak szybko kodek można zaimplementować na platformach odpowiednich dla Twojej usługi. W 2007 roku, kiedy Adobe dodał H.264 do Flasha, odtwarzanie było niemal uniwersalne na wszystkich komputerach i urządzeniach mobilnych. W przeciwieństwie do HEVC, obsługa sprzętu na urządzeniach mobilnych była niezbędna do odtwarzania z wydajnością baterii, a dedykowany sprzęt dekodujący HEVC był niezbędny w większości inteligentnych telewizorów, dekoderów i urządzeń OTT.
Z biegiem czasu coraz więcej urządzeń zaczęło obsługiwać HEVC, a teraz jest on prawie wszechobecny w produktach obecnej generacji, z VP9 tylko nieznacznie w tyle. Ale nowe kodeki, które wymagają sprzętu do wydajnego odtwarzania, zaczynają się od zera.
Z reguły pierwsze urządzenia konsumenckie z obsługą sprzętową pojawiają się po około dwóch latach. Przykładowo, specyfikacja AV1 została sfinalizowana w połowie 2022-2023 r., A pierwsze inteligentne telewizory z obsługą AV1 zostały wysłane w połowie 2022-2023 r. Oczywiście nie ma znaczenia, jak wydajny jest kodek po uruchomieniu; ma to znaczenie tylko wtedy, gdy odtwarzanie jest dostępne na znacznej liczbie platform, na które dostarczasz.
Co prowadzi do następnego pytania.
5. Czy Alliance for Open Media obsługuje kodek?
Chociaż obsługa sprzętu zajmuje dwa lata, jeśli wymagania dotyczące odtwarzania są skromne, odtwarzanie w przeglądarce lub mobilnym systemie operacyjnym może potrwać kilka tygodni. Jednak członkowie Alliance for Open Media Microsoft, Google, Mozilla i Apple kontrolują większość przeglądarek i systemów operacyjnych oraz obsługiwane przez nie formaty. Dlatego przez pełne siedem lat po uruchomieniu HEVC jest obsługiwany tylko w 16,99% wszystkich przeglądarek i mobilnych systemów operacyjnych śledzonych przez www.caniuse.com (Rysunek 2).
Porównywalna liczba dla AV1, który został wypuszczony pięć lat później? 36,56%. A co z VP9, który został uruchomiony w tym samym czasie co HEVC? 94,52%.
Jeśli znaczna liczba Twoich widzów ogląda filmy w przeglądarkach i na urządzeniach mobilnych, obsługa platformy ma ogromne znaczenie dla ekonomii. Jest to szczególnie ważne, ponieważ wsparcie oprogramowania można osiągnąć tak szybko.
W tym momencie wydaje się mało prawdopodobne, że członkowie AOM będą obsługiwać dowolny kodek MPEG, czy to HEVC, VVC, EVC czy LCEVC. Tak więc tam, gdzie kodeki oparte na standardach, takie jak H.264 i MPEG-2, miały kiedyś przewagę, kodeki MPEG są obecnie w znacznie gorszej sytuacji na tradycyjnych rynkach komputerów i telefonów komórkowych.
6. Czy kodek jest standardem MPEG?
Grupa Motion Pictures Experts Group, czyli MPEG, stworzyła i promowała wiele kodeków audio i wideo, które pomogły w przejściu analogowego wideo na cyfrowe. W pewnym momencie standardy MPEG, takie jak MPEG-2 i H.264, miały znacznie wyraźniejsze ścieżki do sukcesu niż zastrzeżone kodeki, takie jak VP9. Dziś ta dynamika się zmieniła, więc chociaż proces normalizacji zapewnia wiarygodność pewnym technologiom, to nie gwarantuje sukcesu?
Co się zmieniło? Prawie wszystko. Kiedy H.264 wystartował w 2003 roku, nadawanie było królem, a streaming nie był ogonem psa, był to paznokieć. Teraz streaming jest wyraźnie psem i transmituje ogon, a firmy kontrolujące wdrażanie kodeków w przeglądarkach i mobilnych systemach operacyjnych oraz firmy zajmujące się treściami, takie jak Netflix i YouTube, mają niesamowity wpływ na wdrażanie kodeków.
Ponieważ omówię więcej za chwilę, w przypadku MPEG-2 i H.264 istniała jasna i spójna polityka dotycząca opłat licencyjnych, która wyszła na jaw w przypadku HEVC, który ma trzy pule patentów. Dwie z puli opublikowały stawki, a roczne limity skaczą z około 10 milionów dolarów w przypadku H.264 do ponad 60 milionów dolarów w przypadku HEVC. Druga pula nie publikuje swoich stawek, a ponad siedem lat po wydaniu HEVC nadal nie określiła, czy będzie pobierać tantiemy za treści.
Mając na uwadze dwuletni cykl rozwoju wdrożeń kodeków, wiele firm sprzętowych zdecydowało się na wdrożenie H.264 i HEVC, zanim zasady tantiem stały się jasne. Po HEVC, duże firmy, takie jak Apple i Samsung, mogą opóźnić przyjęcie technologii do czasu, gdy obraz opłat licencyjnych stanie się jaśniejszy, co może wydłużyć cykl adopcji o kolejne 24 miesiące.
Wreszcie, z punktu widzenia kodeka wideo, MPEG skurczył się z około dziesięcioletniego cyklu między MPEG-2, H.264 i HEVC, do siedmioletniego cyklu, w którym trzy dodatkowe kodeki wideo mają zostać sfinalizowane w 2022-2023 r. Z pewnością każdy z nich Kodek oferuje inny zakres funkcji, wydajności i innych cech i jest mało prawdopodobne, że wszyscy osiągną taką samą komercyjną adaptację.
7. Jaki jest model własności technologii i model zarabiania?
Większość kodeków jest wynikiem współpracy wielu stron. W przypadku niektórych kodeków prowadzi to do powstania jednej lub większej liczby puli patentów, aby umożliwić firmom odzyskanie kosztów inwestycji w badania i rozwój. W przeciwieństwie do tego, VP9 został opracowany wyłącznie przez Google, podczas gdy AV1 został opracowany przez Alliance for Open Media, które wszystkie wnieśli swoje patenty do AOM na zasadzie nieodpłatnej.
Jednak tylko dlatego, że firma lub organizacja twierdzi, że jest właścicielem wszystkich praw do technologii, nie czyni tego. Chociaż Google twierdzi, że VP9 jest open-source, podobnie jak Alliance for Open Media for AV1, administrator puli patentów Sisvel uruchomił pule patentów zarówno dla VP9, jak i AV1, stwierdzając, że te kodeki wykorzystują wynalazki objęte przez właścicieli patentów w ich pulach (zwróć uwagę, że autor konsultuje się z Sisvelem w sprawie tych pul).
Oczywiście zarówno H.264, jak i HEVC są objęte opłatami licencyjnymi zarówno za kodery, jak i dekodery, a także za niektóre typy treści, więc samo istnienie tantiem nie skazuje technologii. Potencjalnym licencjodawcom zależy raczej na spójności tej grupy, jasności warunków licencji i szybkości ich dostępności.
8. Jak ustalona jest struktura tantiem?
W 2017 roku Jonathan Samuelsson, dyrektor generalny dewelopera kodeków Divideon, stworzył grafikę pokazaną na rysunku 3, która stała się obrazem dziecka przedstawiającym dysfunkcjonalność reprezentowaną przez właścicieli patentów związanych z HEVC. Widzisz trzy pule i wiele dodatkowych firm, niektóre bardzo znaczące, nie w żadnej puli. Zwróć uwagę, że jest to oryginalna grafika zaprojektowana przez Samuelssona; od tego czasu obraz własności nieco się zmienił.
Oczywiście, jeśli jesteś potencjalnym licencjodawcą, wolisz jedną pulę obejmującą wszystkich znanych dostawców technologii, co w rzeczywistości może się zdarzyć w przypadku EVC i LCEVC. To powiedziawszy, większość głównych standardów ma więcej niż jedną pulę; licencjodawcy chcą mieć aktualną i znaną strukturę dla wszystkich głównych autorów. Co ważne, chociaż standard VVC został sfinalizowany w lipcu 2022-2023 r., Jest mało prawdopodobne, aby warunki licencjonowania były znane do połowy 2022-2023 r. Jeśli wyglądają jak to, co widać na rysunku 3, VVC może nigdy nie oderwać się od ziemi.
9. Czy istnieje tantiemy za zawartość?
Jeśli jesteś wydawcą strumieniowym, pytania 4-8 określają, jak szybko kodek może zostać przyjęty przez programistów sprzętu i oprogramowania, co decyduje o tym, jak szybko możesz zacząć używać kodeka, aby dostarczyć go widzom. To pytanie określa, ile będzie Cię kosztować jako wydawca transmisji strumieniowej wdrożenie zawartości z tym kodekiem.
Ponownie, tantiemy za zawartość nie są czymś niezwykłym i nie skazują kodeka na niepowodzenie; zarówno HEVC, jak i H.264 mają pewne tantiemy za zawartość. Oczywiście koszty te należy jednak uwzględnić w modelu rentowności, aby określić, kiedy i czy ma ekonomiczny sens wdrożenie nowego kodeka.
Patrząc wstecz i do przodu
Patrząc wstecz, łatwo jest zrozumieć, dlaczego H.264 odniósł (jest) taki sukces: oferował niewielkie oszczędności w przepustowości, ale był natychmiast odtwarzany na komputerach dzięki technologii Flash i oferował wejście na nowy rynek (mobilny). Licencjonowanie było kontrolowane przez jedną pulę patentów, która posiadała większość powiązanych patentów i chociaż do odtwarzania H.264 na urządzeniach mobilnych wymagane było sprzętowe odtwarzanie, wsparcie sprzętowe było na początku niemal uniwersalne i wkrótce stało się wszechobecne.
Natomiast HEVC zadebiutował z bardzo chaotyczną strukturą licencjonowania, która zniechęcała do adopcji technologii. Chociaż obsługa HEVC jest prawie powszechna na urządzeniach mobilnych, telewizorach Smart TV i najnowszych generacjach urządzeń OTT, brak obsługi przeglądarek zmniejsza ogólny zwrot z inwestycji, podczas gdy brak jasności co do opłat licencyjnych za treści jest ogromnym problemem dla wielu wydawców. W efekcie HEVC zostało wdrożone przede wszystkim przez wydawców zajmujących się dystrybucją filmów 4K i HDR do salonu.