Метою проекту H.264/AVC є створення стандарту, який може забезпечити хорошу якість відео зі значно нижчою швидкістю передачі даних, ніж попередні стандарти (тобто половина бітрейту MPEG-2, H.263 або MPEG- або більше). низький). 4, частина 2), не збільшуючи складності конструкції, тому вона є недоцільною або надто дорогою для реалізації. Інша мета-забезпечити достатню гнучкість, щоб стандарт можна було застосовувати до різних додатків у різних мережах та системах, включаючи низькі та високі швидкості передачі даних, відео з низькою та високою роздільною здатністю, мовлення, зберігання DVD, мережу пакетних передач RTP/IP та ITU-T мультимедійна телефонна система. Стандарт H.264 можна розглядати як "стандартну сім'ю", що складається з безлічі різних конфігураційних файлів. Конкретний декодер декодує принаймні один, але не обов’язково всі профілі. Специфікація декодера описує, які файли конфігурації можна декодувати. H.264 зазвичай використовується для стиснення з втратами, хоча також можна створити по -справжньому регіони кодування без втрат у кодованих зображеннях із втратами або для підтримки рідкісних випадків використання, коли все кодування не має втрат.
H.264 був розроблений Групою експертів ITU-T відеокодування (VCEG) спільно з Групою експертів з рухомого зображення ISO/IEC JTC1 (MPEG). Партнерство проекту називається Joint Video Team (JVT). Стандарт ITU-T H.264 та стандарт ISO/IEC MPEG-4 AVC (офіційно ISO/IEC 14496-10-MPEG-4, частина 10, Розширене кодування відео) спільно підтримуються, щоб вони мали однаковий технічний зміст. Остаточний проект першої редакції стандарту був завершений у травні 2003 року, і до його наступних видань було додано різні розширення його функцій. Високоефективне кодування відео (HEVC), а саме H.265 та MPEG-H, частина 2, є спадкоємцями H.264/MPEG-4 AVC, розроблених тією ж організацією, і раніше використовуються більш ранні стандарти.
Найвідоміший H.264, ймовірно, є одним із стандартів кодування відео для дисків Blu-ray; усі програвачі дисків Blu-ray повинні мати можливість декодування H.264. Він також широко використовується для потокових Інтернет-ресурсів, таких як відео з Vimeo, YouTube та iTunes Store, мережевого програмного забезпечення, такого як Adobe Flash Player та Microsoft Silverlight, та різних мовних телевізійних програм HDTV (ATSC, ISDB-T, DVB)- T або DVB-T2), кабельним (DVB-C) та супутниковим (DVB-S і DVB-S2).
H.264 захищений патентами, що належать усім сторонам. Ліцензії, що охоплюють більшість (але не всі) патентів, необхідних для H.264, управляються патентним пулом MPEG LA. 3 Комерційне використання запатентованої технології H.264 вимагає виплати роялті компанії MPEG LA та іншим власникам патентів. MPEG LA дозволяє безкоштовно використовувати технологію H.264, щоб забезпечити кінцевих користувачів безкоштовним потоковим відео в Інтернеті, а Cisco Systems виплачує роялті MPEG LA від імені користувачів бінарних файлів кодера H.264 з відкритим вихідним кодом.
1. Найменування
Назва H.264 відповідає Конвенції про найменування ITU-T, яка є членом серії H.26x стандартів кодування відео VCEG; ім'я MPEG-4 AVC пов'язане з умовою найменування в ISO/IEC MPEG, де стандарт-ISO/IEC 14496 Частина 10, ISO/IEC 14496-це набір стандартів, званих MPEG-4. Стандарт був спільно розроблений у партнерстві між VCEG та MPEG, а проект VCEG під назвою H.26L раніше здійснювався у ITU-T. Тому такі назви, як H.264/AVC, AVC/H.264, H.264/MPEG-4AVC або MPEG-4/H.264 AVC, часто використовуються для посилання на стандарт, щоб підкреслити спільну спадщину. Іноді його також називають "кодеком JVT", посилаючись на організацію Joint Video Team (JVT), яка його розробила. (Таке партнерство та множинні імена не рідкість. Наприклад, стандарт стиснення відео під назвою MPEG-2 також походить від партнерства між MPEG та ITU-T, де відео MPEG-2 називається спільнотою ITU-T H. 262. 4) Деякі програми (наприклад, медіаплеєр VLC) внутрішньо ідентифікують цей стандарт як AVC1.
2. історія
На початку 1998 року Експертна група з відеокодування (VCEG-ITU-T SG16 Q.6) оголосила конкурс пропозицій щодо проекту під назвою H.26L з метою подвоєння ефективності кодування (що означає, що необхідний бітрейт вдвічі) Заданий рівень вірності порівняно з будь -якими іншими існуючими стандартами кодування відео, що використовуються для різних застосувань. VCEG очолює Гері Салліван (Microsoft, раніше PictureTel, США). Перший проект нового стандарту був прийнятий у серпні 1999 р. У 2000 р. Томас Віганд (Інститут Генріха Герца, Німеччина) став співголовою VCEG.
У грудні 2001 року VCEG та Група експертів з рухомих зображень (MPEG-ISO / IEC JTC 1 / SC 29 / WG 11) утворили Спільну відеогрупу (JVT), і її статут доопрацював стандарт кодування відео. [5] Специфікація була офіційно затверджена в березні 2003 р. JVT очолювали Гері Салліван, Томас Віганд та Аджай Лютра (Motorola, США: пізніше Arris, США). У червні 2004 року було завершено проект розширення сфери вірності (FRExt). З січня 2005 року по листопад 2007 року JVT працює над розширенням H.264/AVC до масштабованості через вкладення (G) під назвою масштабоване кодування відео (SVC). Команду управління JVT розширив Йенс-Райнер Ом (Університет Аахена, Німеччина). З липня 2006 р. По листопад 2009 р. JVT запустило кодування для відео-відео (MVC), яке є розширенням H.264/AVC для телевізорів з безкоштовним переглядом та 3D-телевізорів. Ця робота включає розробку двох нових стандартних профілів: Multiview High Profile і Stereo High Profile.
Стандартизація першої версії H.264/AVC була завершена в травні 2003 р. У першому проекті з розширення початкового стандарту JVT згодом розробила так звані розширення діапазону вірності (FRExt). Ці розширення забезпечують більш високу якість кодування відео, підтримуючи вищу точність дискретизації та більшу роздільну здатність інформації про колір, включаючи так звані Y'CbCr 4: 2: 2 (= YUV 4: 2: 2) та Y 'CbCr 4: 4 вибірки структура: 4. Проект Розширення діапазону вірності також включає інші функції, такі як адаптивне перемикання між цілочисельними перетвореннями 4 × 4 та 8 × 8, матриці зважування квантування на основі сприйняття, визначені кодером, ефективне кодування без втрат між зображеннями та підтримка додаткових колірних просторів. Роботи з проектування Fidelity Range Extensions були завершені в липні 2004 року, а робота над складанням проекту була завершена у вересні 2004 року.
Нещодавнє подальше розширення стандарту включає додавання п'яти інших нових профілів [які? ] В основному використовується для професійних застосувань, додавання підтримки розширеної колірної гами, визначення додаткових показників співвідношення сторін, визначення двох інших типів "додаткової інформації про покращення" (підказки після фільтра та відображення тонів), а також відмова від попереднього файлу конфігурації FRExt One (висока 4: 4: 4), відгуки галузі [ким? ] Інструкції повинні бути по -різному оформлені.
Наступною важливою функцією, доданою до стандарту, є масштабоване кодування відео (SVC). У Додатку G до H.264/AVC передбачено, що SVC дозволяє створювати потоки бітів, що містять підбітові потоки, які також відповідають стандарту, включаючи один такий потік бітів, який називається "базовий рівень", який може бути декодований за допомогою H.264/ Кодек AVC, який підтримує SVC. Для тимчасової масштабованості бітового потоку (тобто існують підбітові потоки з меншою тимчасовою частотою дискретизації, ніж основний бітовий потік), повні одиниці доступу видаляються з потоку бітів при отриманні підбітового потоку. У цьому випадку синтаксис високого рівня та опорні зображення між прогнозуванням у потоці бітів будуються відповідно. З іншого боку, для просторової та якісної масштабованості бітового потоку (тобто існують підбітові потоки з меншою просторовою роздільною здатністю/якістю, ніж основний бітовий потік), видаляйте NAL з потоку бітів при отриманні підбітового потоку (рівень абстракції мережі). . У цьому випадку міжшарове прогнозування (тобто передбачення вищої просторової роздільної здатності/якості сигналу за даними нижчого просторового дозволу/якості сигналу) зазвичай використовується для ефективного кодування. Масштабоване розширення кодування відео було завершено в листопаді 2007 року.
Наступна велика функція, додана до стандарту,-це кодування відео у кількох режимах перегляду (MVC). У Додатку H до H.264/AVC зазначено, що MVC дозволяє створювати бітовий потік, що представляє більше одного виду відеосцени. Важливим прикладом цієї функції є стереоскопічне кодування 3D -відео. У роботі MVC було розроблено два профілі: Multiview High Profile підтримує будь-яку кількість переглядів, а Stereo High Profile спеціально розроблений для стерео відео з двома переглядами. Розширення кодування відеороликів Multiview було завершено в листопаді 2009 року.
3. додаток
Відеоформат H.264 має дуже широкий спектр застосувань, що охоплює всі форми цифрового стисненого відео-від низькошвидкісних потокових Інтернет-програм до мовлення HDTV та кодування у цифрових фільмах майже без втрат. Використовуючи H.264, порівняно з MPEG-2, частина 2, швидкість передачі даних може бути збережена на 50% і більше. Наприклад, повідомляється, що якість цифрового супутникового телебачення, що надається H.264, така ж, як і поточна реалізація MPEG-2, зі швидкістю передачі даних менше половини. Поточна швидкість впровадження MPEG-2 становить близько 3.5 Мбіт/с, тоді як H.264-лише 1.5 Мбіт. /с. [23] Sony стверджує, що режим запису AVC 9 Мбіт/с еквівалентний якості зображення у форматі HDV, який використовує близько 18-25 Мбіт/с.
Щоб забезпечити сумісність з H.264/AVC та безперебійне прийняття, багато організацій зі стандартизації змінили або доповнили свої стандарти щодо відео, щоб користувачі цих стандартів могли використовувати H.264/AVC. Як у форматі диска Blu-ray, так і у форматі HD DVD, що зараз припиняється, використовується H.264 / AVC High Profile як один із трьох обов’язкових форматів стиснення відео. Проект цифрового відеомовлення (DVB) схвалив використання H.264/AVC для мовлення в кінці 2004 року.
Орган стандартів Американського комітету з розширеної телевізійної системи (ATSC) у липні 264 р. Затвердив H.2008/AVC для телетрансляції, хоча стандарт ще не використовувався для фіксованого мовлення ATSC у США. [25] [26] Він також схвалений для найновішого стандарту ATSC-M/H (мобільний/портативний) з використанням частин AVC та SVC H.264.
Ринки відеоспостереження та відеоспостереження включили цю технологію до багатьох продуктів. Багато поширених дзеркальних камер використовують відео H.264, що міститься в контейнері QuickTime MOV, як рідний формат запису.
4. Похідний формат
AVCHD-це формат запису високої чіткості, розроблений компаніями Sony та Panasonic з використанням стандарту H.264 (сумісний із стандартом H.264, додаючи інші функції та обмеження, характерні для програми).
AVC-Intra-це внутрішньокадровий формат стиснення, розроблений компанією Panasonic.
XAVC-це формат запису, розроблений Sony і використовує рівень 5.2 H.264/MPEG-4 AVC, що є найвищим рівнем, підтримуваним цим стандартом відео. [28] [29] XAVC може підтримувати роздільну здатність 4K (4096 × 2160 та 3840 × 2160) зі швидкістю до 60 кадрів в секунду (fps). [28] [29] Sony оголосила, що камери з підтримкою XAVC включають дві камери CineAlta-Sony PMW-F55 та Sony PMW-F5. [30] Sony PMW-F55 може записувати XAVC, роздільна здатність 4K-30 кадрів/с, швидкість-300 Мбіт/с, роздільна здатність 2K, 30 кадрів/с, 100 Мбіт/с. [31] XAVC може записувати роздільну здатність 4K зі швидкістю 60 кадрів в секунду та виконувати підвибірку кольоровості 4: 2: 2 зі швидкістю 600 Мбіт/с.
5. Особливості
Структурна схема H.264
H.264 / AVC / MPEG-4 Part 10 містить багато нових функцій, які дозволяють йому стискати відео ефективніше, ніж старий стандарт, і забезпечують більшу гнучкість для застосувань у різних мережевих середовищах. Зокрема, деякі з цих ключових функцій включають:
1) Багатопрофільне прогнозування між зображеннями включає в себе такі функції:
Використовуйте раніше закодовані зображення як посилання більш гнучким способом, ніж попередні стандарти, дозволяючи використовувати в деяких випадках до 16 опорних кадрів (або 32 опорних полів у разі міжрядкового кодування). У профілях, які підтримують кадри без IDR, більшість рівнів вказують, що має бути достатньо буферизації, щоб дозволити принаймні 4 або 5 опорних кадрів з максимальною роздільною здатністю. Це на відміну від існуючих стандартів, які зазвичай мають обмеження 1; або, у випадку традиційних "В -зображень" (кадри В), два. Ця особливість зазвичай дозволяє скромне поліпшення швидкості передачі та якості в більшості сценаріїв. [Потреба в цитаті] Але в певних типах сцен, таких як сцени з повторюваними діями або перемиканням сцен туди -сюди або відкритими фоновими областями, це дозволяє значно зменшити бітрейт, зберігаючи чіткість.
Компенсація руху за змінним розміром блоку (VBSMC), розмір блоку 16 × 16, всього 4 × 4, що дозволяє реалізувати точну сегментацію рухомої зони. Підтримувані розміри блоку передбачення яскравості включають 16 × 16, 16 × 8, 8 × 16, 8 × 8, 8 × 4, 4 × 8 та 4 × 4, багато з яких можна використовувати разом в одному блоці макросу. Відповідно до підвибірки кольоровості, що використовується, розмір блоку прогнозування кольоровості відповідно менший.
У разі макроблоку В, що складається з 16 розділів 4 × 4, кожен макроблок може використовувати декілька векторів руху (один або два для кожного розділу) максимум на 32. Вектор руху кожної площі розділу 8 × 8 або більшої може вказувати до іншого еталонного зображення.
У B-кадрах можна використовувати будь-який тип макроблоку, включаючи I-макроблоки, що призводить до більш ефективного кодування при використанні B-кадрів. Цю характеристику можна побачити з MPEG-4 ASP.
Фільтрація з шістьма кранами використовується для отримання прогнозу вибірки напівпіксельної яскравості для більш чіткої компенсації руху пікселів. Рух у чверть пікселів визначається лінійною інтерполяцією напівкольорових значень для економії обчислювальної потужності.
Четверта піксельна точність, яка використовується для компенсації руху, може точно описати зміщення рухомої області. Для кольоровості роздільна здатність зазвичай зменшується вдвічі у вертикальному та горизонтальному напрямках (див. 4: 2: 0), тому компенсація руху кольоровості використовує одну восьму одиницю піксельної пікселі кольоровості.
Зважене прогнозування дозволяє кодеру визначати використання масштабування та зміщення під час виконання компенсації руху, а також дає значні переваги в роботі в особливих ситуаціях, таких як зменшення та зменшення, зменшення та зменшення та зменшення та зменшення переходів. Це включає в себе неявне зважене прогнозування B -кадрів та явне зважене передбачення P -кадрів.
Просторове прогнозування країв сусідніх блоків для "внутрішнього" кодування, замість передбачення "DC", знайденого в частині 2 MPEG-2, і передбачення коефіцієнта трансформації в H.263v2 та MPEG-4, частина 2:
Це включає розміри блоку передбачення яскравості 16 × 16, 8 × 8 та 4 × 4 (де в кожному макроблоці можна використовувати лише один тип).
2) Функції кодування макроблоку без втрат включають:
"Макроблок PCM без втрат" представляє режим, який безпосередньо представляє зразки відеоданих [34], дозволяє ідеально уявляти конкретну область та допускає жорсткі обмеження щодо кількості закодованих даних для кожного макроблоку.
Розширений режим представлення макроблоків без втрат забезпечує ідеальне представлення певної області, при цьому зазвичай використовується набагато менше бітів, ніж у режимі PCM.
Гнучкі функції кодування чересстрочного відео, включаючи:
Кодування для адаптивного фрейм-поля макроблоку (MBAFF) використовує структуру пар макроблоків для зображення, кодованого як кадр, що дозволяє макроблоки 16 × 16 у польовому режимі (порівняно з MPEG-2, де обробка режиму поля реалізована у кодуванні зображення як кадр призводить до обробки напівмакроблоків 16 × 8).
Кодування кодування кадрів та полів (PAFF або PicAFF) дозволяє вільно вибрані зображення змішувати та кодувати як повний кадр, де два поля об’єднані для кодування або як єдине єдине поле.
Нові функції дизайну перетворення, включаючи:
Точна відповідність цілочисельного просторового блочного перетворення 4 × 4, що дозволяє точно розмістити залишкові сигнали, майже не викликаючи "дзвінків", поширених у попередніх конструкціях кодеків. Ця концепція схожа за концепцією з відомим дискретним косинусним перетворенням (DCT), яке було введено в 1974 р. Н. Ахмедом, Т. Натараджаном і К. Р. Рао, і воно є еталоном 1 у дискретному косинусному перетворенні. Однак він спрощений і забезпечує точно визначене декодування.
Точне узгодження цілочисельних просторових блокових перетворень 8 × 8, що дозволяє більш ефективно стискати сильно корельовані області, ніж 4 × 4 перетворення. Концепція подібна до відомого DCT, але спрощена і передбачена для забезпечення точно визначеного декодування.
Адаптивний вибір кодера між розмірами блоків перетворення 4 × 4 та 8 × 8 для цілочисельних операцій перетворення.
Вторинне перетворення Адамара виконується на коефіцієнтах "постійного струму" основного просторового перетворення, застосованого до коефіцієнтів кольоровості постійного струму (а в окремому випадку і на яскравості) для отримання ще більшого стиснення в гладкій області.
3) Кількісне проектування включає:
Логарифмічний контроль розміру кроків, простіше управління швидкістю передачі бітів та спрощене масштабування зворотного квантування за допомогою кодера
Матриця масштабування квантування з індивідуальною частотою, обрана кодером, використовується для оптимізації квантування на основі сприйняття
Фільтр розблокування циклу допомагає запобігти ефекту блокування, спільному для інших технологій стиснення зображень на основі DCT, щоб отримати кращий візуальний вигляд та ефективність стиснення
4) Дизайн кодування ентропії включає:
Контекстно-адаптивне двійкове арифметичне кодування (CABAC), алгоритм стиснення без втрат елементів синтаксису у відеопотоці, який знає ймовірність синтаксичних елементів у даному контексті. CABAC стискає дані ефективніше, ніж CAVLC, але вимагає більшої обробки для декодування.
Контекстне адаптивне кодування змінної довжини (CAVLC), що є альтернативою нижчої складності CABAC, що використовується для кодування квантованих значень коефіцієнтів трансформації. Хоча складність нижча, ніж CABAC, CAVLC є більш вдосконаленою та ефективнішою, ніж методи, які зазвичай використовуються для кодування коефіцієнтів у інших існуючих конструкціях.
Поширений простий і високоструктурований метод кодування зі змінною довжиною (VLC), що використовується для багатьох елементів синтаксису, не кодованих CABAC або CAVLC, називається Експоненціальним кодуванням Голомба (або Exp-Golomb).
5) Функції відновлення втрат включають:
Визначення рівня абстракції мережі (NAL) дозволяє використовувати той самий синтаксис відео в багатьох мережевих середовищах. Дуже базовою концепцією проектування H.264 є створення автономних пакетів даних для видалення дублікатів заголовків, таких як код розширення заголовка MPEG-4 (HEC). Це досягається шляхом від’єднання інформації, що стосується кількох фрагментів, від потоку медіа. Поєднання розширених параметрів називається набором параметрів. [35] Специфікація H.264 включає два типи наборів параметрів: набір параметрів послідовності (SPS) та набір параметрів зображення (PPS). Ефективний набір параметрів послідовності залишається незмінним у всій кодованій відеопослідовності, а набір ефективних параметрів зображення залишається незмінним у кодованому зображенні. Структура набору послідовностей та параметрів зображення містить таку інформацію, як розмір зображення, прийнятий необов’язковий режим кодування та відображення групи макроблок до фрагментів.
Гнучке впорядкування макроблоків (FMO), також відоме як група зрізів, і довільне впорядкування фрагментів (ASO) - це техніка, яка використовується для реконструкції впорядкування представлення основних областей (макроблоків) на зображенні. Зазвичай вважаються функціями надійності помилок/втрат, FMO та ASO можуть також використовуватися для інших цілей.
Розбиття даних (DP), функція, яка може розділити важливіші та менш важливі елементи синтаксису на різні пакети даних, може застосовувати Unequal Error Protection (UEP) та інші типи покращення надійності помилок/втрат.
Надлишковий фрагмент (RS), функція надійності для помилок/втрат, що дозволяє кодеру надсилати додаткове уявлення про область зображення (зазвичай з меншою точністю), яку можна використовувати, якщо основне представлення пошкоджено або втрачено.
Номер кадру, що дозволяє створювати функцію "підпослідовностей", досягаючи тимчасової масштабованості шляхом необов'язкового включення додаткових зображень між іншими зображеннями та виявлення та приховування втрати всього зображення, що може бути спричинено втратою мережевого пакету або каналу.
Перемикання фрагментів, які називаються фрагментами SP та SI, дозволяють кодеру доручити декодеру перейти до поточного відеопотоку для таких цілей, як перемикання бітрейту відеопотоку та операції "режиму хитрості". Коли декодер використовує функцію SP/SI для переходу до середини відеопотоку, він може отримати точну відповідність з декодованим зображенням у цій позиції у відеопотоці, незважаючи на використання іншого зображення або взагалі без зображення, як попереднє посилання. перемикач.
Простий автоматичний процес, що використовується для запобігання випадковому моделюванню стартового коду, який є спеціальною послідовністю бітів у закодованих даних, дозволяє довільно отримувати доступ до потоку бітів і відновлює вирівнювання байтів у системах, де синхронізація байтів може бути втрачена.
Додаткова інформація про покращення (SEI) та інформація про зручність використання відео (VUI) - це додаткова інформація, яку можна вставити в потік бітів для покращення відео для різних цілей. [Потрібно уточнення] SEI FPA (Frame Encapsulation Arrange) містить 3D -розташування повідомлень:
Допоміжне зображення, яке може бути використано для альфа -синтезу та інших цілей.
Підтримує монохромний (4: 0: 0), 4: 2: 0, 4: 2: 2 та 4: 4: 4 підвибірку кольоровості (залежно від обраного профілю).
Підтримує точність вибірки бітової глибини від 8 до 14 біт на вибірку (залежно від обраного профілю).
Можливість кодування кожної колірної площини в різні зображення із власною структурою зрізів, режимом макроблоку, вектором руху тощо, що дозволяє використовувати просту паралельну структуру для проектування кодера (підтримуються лише три файли конфігурації, які підтримують 4: 4: 4 ).
Підрахунок послідовності зображень використовується для підтримки порядку зображень та характеристик значень вибірки у декодованому зображенні, ізольованих від інформації про час, що дозволяє системі переносити та контролювати/змінювати інформацію про час окремо, не впливаючи на зміст декодування зображення.
Ці та деякі інші технології допомагають H.264 працювати краще, ніж будь -який попередній стандарт, у різних середовищах застосування в різних ситуаціях. H.264, як правило, працює краще, ніж відео MPEG-2-зазвичай така ж якість при половині швидкості передачі або нижчій швидкості, особливо при високій швидкості передачі та високій роздільній здатності.
Як і інші стандарти відео/стандартів ISO/IEC MPEG, H.264/AVC має довідкове програмне забезпечення, яке можна завантажити безкоштовно. Його основна мета - надати приклади функцій H.264/AVC, а не корисну програму. Група експертів з кінофільмів також виконує деякі роботи з розробки опорного обладнання. Вище наведено всі можливості H.264/AVC, які охоплюють усі файли конфігурації H.264. Профіль кодека - це набір характеристик кодека, який ідентифікується відповідно до певного набору специфікацій для передбачуваного застосування. Це означає, що деякі файли конфігурації не підтримують багато перерахованих функцій. Різні файли конфігурації H.264/AVC будуть розглянуті в наступному розділі.
Наш інший продукт:
