Ландшафт кодеків змінюється, до кінця 2022-2023 року з’явиться шість нових кодеків. На початку 2022-2023 року більшість виробників потокового відео кодували виключно кодеком H.264, який дебютував у 2003 році. Деякі великі видавці, такі як Netflix, Amazon, YouTube та Facebook також розгорнули наступника, заснований на стандартах H.264, кодек HEVC та / або кодек VP9 від Google. Кілька виробників експериментували з кодеком AV1 Альянсу за відкриті медіа. Окрім цих чотирьох існуючих кодеків, у 2022-2023 році MPEG випустить три нових кодеки, універсальне відеокодування (VVC), основне відеокодування (EVC) та відеокодування з підвищеною складністю відео (LCEVC).
До розгляду шести нових кодеків до кінця 2022-2023 року варто переглянути фактори, що сприяють успішному прийняттю кодека. У цій статті я розгляну ці фактори, використовуючи H.264 та HEVC, та створу структуру аналізу, яку буду використовувати в наступних статтях, щоб обмежити потенційний успіх AV1 та трьох нових кодеків MPEG.
Зауважте, що я буду писати переважно з точки зору видавця; не з точки зору виробника програвача або кодера.
- Розуміння рішень для потокової передачі з низькою затримкою
- Найкращі PTZ-камери, пристрої для зйомки та потокового передавання
1. Яка порівняльна ефективність кодека?
Найважливіша роль кодека - зменшити розмір потоку, необхідного для доставки відео нашим глядачам. У багатьох випадках ефективність вимірюється щодо H.264. Ви бачите це на малюнку 1 зі звіту про порівняння HEVC за 2015 рік з Московського державного університету (МГУ). Для пояснення, MSU завжди подає свої дані за допомогою x264, одного з декількох кодеків H.264, зі 100% якістю. Потім для кожного кодека він показує відсоток зменшення або збільшення швидкості передачі даних, необхідних для отримання такої ж якості, як x264.
Наприклад, на графіку кодек x265 може забезпечити таку ж якість, як x264, із 74% бітрейту або економією приблизно 26%. Кодек VP9 не настільки відстає - 77% або економія близько 23% порівняно з x264.
Ця економія являє собою одну основну грошову вигоду, яку отримують новіші кодеки. Впровадження x265 ще в 2015 році скоротило б на 26% витрати на пропускну здатність для доставки рівноякісного відео для гравців, здатних до HEVC. VP9 скоротить витрати на пропускну здатність на 23%.
Подумайте про адаптацію кодеків як про аналіз беззбитковості. Є два джерела надходження; економія для доставки існуючим клієнтам, яку ми щойно охопили, та додатковий дохід для клієнтів на нових ринках, про що я розповім у наступному розділі. З реалізаціями кодеків пов’язано кілька витрат. Ви поставите відео, закодоване за стандартом H.264, в найближчому майбутньому, тому витрати на кодування та зберігання для нових кодеків є додатковими. Вам також доведеться оновити плеєр та виконати певні заходи тестування та контролю якості.
Заощадження пропускної здатності, очевидно, стосується кількості глядачів кожного відео. Ось простий приклад. Припустимо, що кодування до драбини кодування HEVC коштує 20,00 доларів США, і ви заощадили 0,01 доларів США на витратах пропускної здатності на одного глядача. Щойно 2000 глядачів переглянуть відео, ви компенсуєте цю вартість. Якщо відео переглядають 2 мільйони глядачів, ви заощадите 20 000 доларів США на витратах на пропускну здатність. Ось чому великим компаніям, таким як Netflix, YouTube, Amazon та Facebook, легше застосовувати нові коди.
Незалежно від розміру, коли заощадження або новий дохід, пов’язані з новим кодеком, перевищують імплементацію та інші витрати, розгортання нового кодека має фінансовий сенс. Очевидно, що чим більша ефективність стиснення над існуючим рішенням, тим більша економія смуги пропускання.
Крім усього цього, переважна більшість нових розгортань кодеків не спрямовані на економію пропускної здатності та інші ефективність доставки. Лише підказка видавців піраміди, таких як Netflix, Facebook та YouTube, розгорнула VP9, незважаючи на те, що в даний час він приблизно на 35-40% ефективніший, ніж x264. Швидше, видавці зазвичай приймають нові кодеки, такі як HEVC, оскільки це відкриває ринки для нових клієнтів.
Це приводить до наступного питання.
ПРО БЮЛЕТИНАудіо + Відео + ІТ. Наші редактори є експертами з інтеграції аудіо / відео та ІТ. Отримуйте щоденну інформацію, новини та професійні мережі. Підпишіться на Pro AV сьогодні.
2. Які нові ринки або платформи дає кодек?
Коли Adobe додала відтворення H.264 до Flash у 2007 році, H.264 був лише приблизно на 15% ефективнішим за кодек VP6, який був найбільш широко використовуваним кодеком Flash до H.264. Попри ці мізерні заощадження, чому більшість видавців швидко та повністю перейшли на H.264? Тому що, хоча VP6 не грав на iPod, iPhone або інших мобільних пристроях, H.264 це робив. Завдяки H.264 як у Flash, так і в переважному кодеку на мобільних пристроях, видавці можуть відмовитись від VP6 і досягти двох ринків з одним кодеком, що абсолютно не вимагає зусиль.
Подібним чином більшість видавців застосували HEVC для доставки відео 4K та / або відео з високим динамічним діапазоном (HDR) до смарт-телевізорів, телевізійних приставок та пристроїв OTT. Наприклад, у звіті Global Media Format за 2022-2023 рік, в якому повідомляється про їх виробництво у 2022-2023 році, encoding.com повідомляє, що «ми очікуємо дуже істотного збільшення обсягу в 2022-2023 році, зумовленого вмістом UHD HDR, як як преміальні стандарти HDR Dolby Vision, так і HDR + відеоформат HEVC ". На жаль, encoding.com не оновив цей звіт за 2022-2023 рік.
Так само, нарешті, Apple почала підтримувати VP9 або AV1 на своїх 4K-пристроях AppleTV, щоб їхні глядачі могли переглядати 4K-відео на YouTube. Це передбачає важливість, яку постачальники Альянсу для відкритих медіа, такі як Facebook, Netflix, YouTube і Amazon, матимуть при прийнятті AV1.
Суть полягає в тому, що якщо кодек не відкриває нових ринків, економія пропускної здатності є єдиною перевагою. Як зазначалося, з будь-якої причини, поза найбільшими видавцями відео, мало хто знайшов цю економію достатньою мотивацією для впровадження нових кодеків.
3. Як відбувається кодування часу?
Ми вже говорили про аналіз беззбитковості. Я задаю це питання, оскільки час кодування безпосередньо перетворюється на вартість кодування, і чим вища вартість, тим важче досягти беззбитковості.
Як приклад, AWS Elemental MediaConvert стягує 0,024 доларів за хвилину для кодування H.264, 0,048 доларів за хвилину для кодування HEVC та 0,864 доларів за хвилину для кодування AV1. На щастя, за останні кілька місяців час кодування AV1 впав дуже суттєво, і я впевнений, що ціна за елементами буде слідувати. І все ж, коли часи кодування такі ж льодовикові, як колись AV1, вам потрібні мільйони переглядів, щоб накопичити економію пропускної здатності, необхідну для досягнення беззбитковості.
4. Чи можна його впровадити в програмне забезпечення на відповідних платформах?
Це питання говорить про те, як швидко кодек може бути впроваджений на платформах, що мають відношення до вашої послуги. Ще в 2007 році, коли Adobe додала H.264 до Flash, відтворення було майже універсальним на всіх комп'ютерах та мобільних пристроях. На відміну від цього, у випадку з HEVC, апаратна підтримка мобільних пристроїв була необхідною для енергоефективного відтворення, а спеціальне обладнання для декодування HEVC було необхідним для більшості смарт-телевізорів, телевізійних приставок та OTT-пристроїв.
З часом все більше і більше пристроїв почали підтримувати HEVC, і зараз це майже повсюдно в продуктах поточного покоління, VP9 лише трохи відстає. Але нові кодеки, які потребують обладнання для ефективного відтворення, починаються з нуля.
Як правило, для появи перших споживчих пристроїв з апаратною підтримкою потрібно близько двох років. Як приклад, специфікація AV1 була доопрацьована в середині 2022-2023 року, а перші смарт-телевізори з підтримкою AV1 надійшли в середині 2022-2023 року. Очевидно, що не має значення, наскільки ефективним є кодек при запуску; це стає актуальним лише тоді, коли відтворення доступне на значній кількості платформ, на які ви доставляєте.
Що веде до наступного питання.
5. Чи підтримує Альянс за відкриті медіа кодек?
Хоча на апаратну підтримку потрібно два роки, якщо вимоги до відтворення незначні, відтворення в браузері або мобільній операційній системі може зайняти кілька тижнів. Однак члени Alliance for Open Media Microsoft, Google, Mozilla та Apple контролюють більшість браузерів та операційних систем, а також підтримувані ними формати. Ось чому через сім років після запуску HEVC підтримується лише у 16,99% усіх браузерів та мобільних операційних систем, що відслідковуються на сайті www.caniuse.com (рис. 2).
Порівнянне число для AV1, яке було запущено через п'ять років? 36,56%. Що можна сказати про VP9, який був запущений приблизно в той самий час, що і HEVC? 94,52%.
Якщо значна частина ваших глядачів дивиться у браузерах та мобільних пристроях, підтримка платформи робить величезну різницю в економіці. Це особливо вірно, оскільки підтримка програмного забезпечення може бути досягнута так швидко.
На даний момент здається малоймовірним, що члени AOM будуть підтримувати будь-який кодек MPEG, будь то HEVC, VVC, EVC або LCEVC. Отже, коли кодеки, засновані на стандартах, такі як H.264 та MPEG-2, колись мали перевагу, кодеки MPEG зараз знаходяться у вигідному становищі на традиційних комп'ютерних та мобільних ринках.
6. Чи є кодек стандартом MPEG?
Група експертів з кінофільмів або MPEG створила та просунула кілька аудіо- та відеокодеків, які допомогли перевести аналогове відео у цифрове. Одного разу стандарти MPEG, такі як MPEG-2 та H.264, мали набагато чіткіші шляхи до успіху, ніж власні кодеки, такі як VP9. Сьогодні ця динаміка змінилася, тому, хоча процес стандартизації забезпечує надійність певних технологій, це не гарантія успіху?
Що змінилося? Майже все. Тоді, коли H.264 запускався в 2003 році, трансляція була головною, і трансляція не була хвостом собаки, це був ніготь. Зараз потокове передавання, очевидно, собака, і трансляція хвоста, і компанії, які контролюють розгортання кодеків у браузерах та мобільних ОС, а також контент-компанії, такі як Netflix та YouTube, мають неймовірний вплив на розгортання кодеків.
Як я зараз поговорю про додаткові відомості, з MPEG-2 та H.264, існувала чітка і цілісна політика щодо роялті, яка вийшла з вікна з HEVC, який має три патентні пули. Два пули опублікували тарифи, а щорічні обмеження стрибають з приблизно 10 мільйонів доларів для H.264 до понад 60 мільйонів доларів для HEVC. Інший пул не оприлюднює свої тарифи, і більше семи років після випуску HEVC досі не вказав, чи будуть вони брати гонорари за вміст.
Зважаючи на дворічний цикл розробки розгортання кодеків, багато апаратних компаній вирішили розгорнути H.264 та HEVC до того, як політика роялті стала чіткою. Після HEVC, великі компанії, такі як Apple і Samsung, можуть затримати прийняття технологій, поки картинка з роялті не стане чіткішою, що може додати ще 24 місяці до циклу прийняття.
Нарешті, з точки зору відеокодеків, MPEG скоротився від приблизно десятирічного циклу між MPEG-2, H.264 та HEVC до семирічного циклу для трьох додаткових відеокодеків, які будуть доопрацьовані в 2022-2023 році. Звичайно, кожен кодек пропонує різний спектр функцій, продуктивності та інших характеристик, і навряд чи всі вони досягнуть однакового комерційного прийняття.
7. Яка модель володіння технологією та монетизації?
Більшість кодеків є результатом співпраці між різними сторонами. З деякими кодеками це призводить до створення одного або декількох патентних пулів, що дозволяє компаніям компенсувати витрати на свої інвестиції в НДДКР. На відміну від них, VP9 був розроблений виключно компанією Google, тоді як AV1 був розроблений компаніями Alliance for Open Media, які всі внесли свої патенти в AOM на безоплатній основі.
Однак те, що компанія чи організація стверджує, що володіє всіма правами на технологію, не робить її такою. Хоча Google і стверджує, що VP9 є відкритим кодом, як і Альянс за відкриті медіа для AV1, адміністратор пулу патентів Sisvel запустив пули патентів як для VP9, так і для AV1, зазначивши, що ці кодеки використовують винаходи, охоплені власниками патентів у своїх пулах (зауважте, що автор консультується з Sisvel щодо цих пулів).
Звичайно, як H.264, так і HEVC є роялті як для кодерів, так і для декодерів, а також для деяких типів вмісту, тому одне лише існування роялті не прирікає технологію. Швидше, потенційні ліцензіари дбають про згуртованість цієї групи, чіткість їхніх умов ліцензування та про те, як швидко вони доступні.
8. Наскільки встановлена структура роялті?
У 2017 році Джонатан Самуельссон, генеральний директор розробника кодеків Divideon, створив графіку, показану на малюнку 3, яка стала дочірньою дошкою для дисфункціональності, представленої власниками патентів, пов'язаних з HEVC. Ви бачите три пули та кілька додаткових компаній, деякі дуже значні, не в жодному пулі. Зверніть увагу, що це оригінальна графіка, розроблена Самуельссоном; картина власності дещо змінилася з тих пір.
Зрозуміло, що якщо ви потенційний ліцензіар, ви віддаєте перевагу єдиному пулу, який включав би всіх відомих учасників технологій, що насправді могло б статися для EVC та LCEVC. Тим не менш, більшість основних стандартів мають більше одного пулу; що хочуть ліцензіари, це своєчасна і відома структура для всіх основних вкладників. Важливо, що, хоча стандарт VVC був доопрацьований у липні 2022-2023 року, навряд чи умови ліцензування будуть відомі до середини 2022-2023 року. Якщо вони схожі на те, що ви бачите на малюнку 3, VVC може ніколи не вийти з місця.
9. Чи існує вміст роялті?
Якщо ви є потоковим видавцем, питання 4-8 диктують, як швидко розробники апаратного та програмного забезпечення можуть прийняти кодек, який визначає, як швидко ви можете почати використовувати кодек для доставки своїм глядачам. Це питання визначає, скільки вам буде коштувати як поточному видавцю розгортання вмісту за допомогою цього кодека.
Знову ж таки, винагорода за вміст не є нечуваною і не прирікає кодек на провал; як HEVC, так і H.264 мають певну винагороду за вміст. Очевидно, однак, ці витрати потрібно включити в модель беззбитковості, щоб визначити, коли і чи є економічний сенс застосовувати новий кодек.
Дивлячись назад і вперед
Озираючись назад, легко зрозуміти, чому H.264 мав такий успіх: він пропонував незначну економію пропускної здатності, але відразу грав на комп’ютерах завдяки Flash і пропонував вихід на новий ринок (мобільний). Ліцензування контролювалося єдиним пулом патентів, який містив більшість пов’язаних патентів, і хоча для відтворення H.264 на мобільних пристроях було потрібно відтворення апаратного забезпечення, апаратна підтримка була майже універсальною для початку і незабаром стала повсюдною.
На противагу цьому, HEVC дебютував з дуже роз'єднаною структурою ліцензування, що не дозволило прийняти технологію. Хоча підтримка HEVC майже універсальна для мобільних пристроїв, смарт-телевізорів та останніх поколінь пристроїв OTT, відсутність підтримки браузера зменшує загальну рентабельність інвестицій, тоді як відсутність чіткості щодо роялті за вміст викликає велике занепокоєння у багатьох видавців. Як результат, HEVC впроваджено переважно видавцями, які розповсюджують відео 4K та HDR у вітальні.