Значення кодування відео
Великий простір для зберігання оригінальних відеоданих, відео 1080P 7 с вимагає 817 МБ
Оригінальна передача відеоданих займає велику пропускну здатність, і для передачі вищезазначеного 11-секундного відео з пропускною здатністю 7 Мбіт / с потрібно 10 хвилин
Після кодування та стиснення H.264 розмір відео становить лише 708 к, а пропускна здатність 10 Мбіт / с потрібно лише 500 мс, що може задовольнити потреби передачі в режимі реального часу. Отже, оригінальне відео, зібране з датчика збору відео, має бути закодовано у відео.
Фундаментальний
То чому ж величезне оригінальне відео можна закодувати у дуже маленьке відео? Яка в цьому технологія? Перш ніж говорити про технологію, нам слід спершу встановити концепцію відео, яка є суцільним зображенням.
Основна ідея полягає у видаленні зайвої інформації:
Просторова надмірність: існує суттєва кореляція між сусідніми пікселями зображення
Часова надмірність: подібний вміст між сусідніми зображеннями у відеопослідовності
Надлишковість кодування: різні значення пікселів мають різну ймовірність
Зорова надмірність: зорова система людини не чутлива до певних деталей
Надмірність знань: структуру регулярності можна отримати на основі попередніх знань та попередніх знань
Відео - це, по суті, серія картинок, які відтворюються безперервно і швидко, тому найпростіший спосіб стиснути відео - стиснути кожен кадр фотографій. Наприклад, старіше кодування MJPEG полягає у стисненні кожного кадру зображень у відео. Цей метод кодування Існує лише внутрішньокадрове кодування, яке використовує просторове передбачення вибірки для кодування. Метафора зображення полягає в тому, щоб розглядати кожен кадр як зображення та використовувати формат кодування JPEG для стиснення зображення. Цей тип кодування враховує лише стиснення надмірної інформації на зображенні.
Однак через часову кореляцію між кадрами були розроблені деякі вдосконалені кодери, які можуть використовувати міжкадрове кодування. Простіше кажучи, певні ділянки на кадрі вибираються за допомогою алгоритму пошуку, а потім обчислюється поточний кадр. Це форма кодування з векторною різницею між передньою та задньою опорними рамками. Через наступні два послідовних кадри на малюнку 2 ми бачимо, що лижник рухається вперед, але насправді снігова сцена зміщується назад, а на кадр P посилаються Кадри (I або інші кадри P) можуть кодуватися, розмір після кодування дуже малий, а ступінь стиснення дуже високий.
Довідкове посилання про кадру http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Деяких студентів може зацікавити, звідки взялися ці дві картинки. Ось два рядки команд FFmpeg для досягнення. Детальніше про FFmpeg див. У наступних розділах:
Перший рядок генерує відео з рухомим вектором
Другий рядок виводить кожен кадр у вигляді зображення
Використовуйте команду
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutorormal-% 03d.bmp '
На додаток до просторової надмірності та стиснення часової надмірності, в основному існують стиснення кодування та візуальне стиснення. Нижче наведена основна блок-схема кодера:
Малюнки 3 та 4 - це два процеси. Малюнок 3 - внутрішньокадрове кодування, а малюнок 4 - міжкадрове кодування. Основна відмінність, видно з малюнка, полягає в тому, що перший крок відрізняється. Насправді ці два процеси також поєднуються. Взагалі кажучи, I кадр і P кадр використовують внутрішньокадрове кодування та міжкадрове кодування відповідно.
Вибір кодера
Я розібрався з принципом та основним процесом роботи кодера. Кодер переживав десятиліття розвитку. Він перетворився лише на підтримку внутрішньокадрового кодування до нового покоління кодерів, представлених H.265 та VP9 сьогодні. В даний час аналізуються деякі поширені кодери, і ми проведемо вас для вивчення світу кодерів.
H.264
Вступ
Проект H.264 / AVC має намір створити стандарт відео. Порівняно зі старим стандартом, він може забезпечувати високоякісне відео з меншою пропускною здатністю (іншими словами, лише половина пропускної здатності MPEG-2, H.263 або MPEG-4, частина 2 або менше), не додаючи занадто багато складності дизайну. цього неможливо досягти або вартість впровадження занадто висока. Іншою метою є забезпечення достатньої гнучкості для використання в різних додатках, мережах та системах, включаючи високу та низьку пропускну здатність, високу та низьку роздільну здатність відео, трансляцію, зберігання DVD, мережі RTP / IP та систему мультимедійних телефонів ITU-T.
H.264 / AVC містить ряд нових функцій, що робить його не тільки більш ефективним, ніж попередні кодеки, але також може використовуватися в додатках в різних мережевих середовищах. Ця технічна основа робить H.264 основним кодеком, що використовується онлайн-відеокомпаніями, включаючи YouTube, але використовувати його не дуже просто. Теоретично використання H.264 вимагає великих грошей. Патентні збори.
Патентна ліцензія
Подібно до першої та другої частин MPEG-2 та другої частини MPEG-4, виробники продуктів та постачальники послуг, які використовують H.264 / AVC, повинні сплачувати патентні збори власникам патентів. Основним джерелом цих патентних ліцензій є приватна організація під назвою MPEG-LA LLC. Ця організація не має нічого спільного з Організацією стандартизації MPEG, але ця організація також керує системою MPEG-2 Частина перша, Частина друга Відео та Частина перша MPEG-4. Патентні ліцензії на відео та інші технології з двох частин.
Інші патентні ліцензії потрібно подати до іншої приватної організації, яка називається VIA Licensing, яка також управляє патентними ліцензіями на стандарти стиснення звуку, такі як MPEG-2 AAC та MPEG-4 Audio.
Реалізація H.264 з відкритим кодом
openh264 - це програма кодування H.264 з відкритим кодом, реалізована Cisco. Хоча H.264 вимагає високого патентного збору, існує щорічний ліміт патентного збору. Після того, як Cisco сплачує щорічний патентний збір за OpenH264, OpenH264 фактично є безкоштовним. Використовуйте його вільно.
x264 - це вільне програмне забезпечення для кодування відео, ліцензоване під GPL. Основна функція x264 - виконувати кодування відео H.264 / MPEG-4 AVC, а не як декодер.
Виключаючи питання вартості для порівняння:
Використання центрального процесора у openh264 значно нижче, ніж у x264
openh264 підтримує лише базовий профіль, x264 підтримує більше профілів
HEVC / H.265
Вступ
Високоефективне кодування відео (HEVC) - це стандарт стиснення відео (також званий H.265), який розглядається як наступник стандарту ITU-T H.264 / MPEG-4 AVC. У 2004 році група експертів із рухомих зображень ISO / IEC (MPEG) та Група експертів з кодування відео (ITC-IT) розпочали розробку як ISO / IEC 23008-2 MPEG-H Частина 2 або ITU-T H.265. Перша версія стандарту стиснення відео HEVC / H.265 була прийнята офіційним стандартом Міжнародного союзу електрозв'язку (ITU-T) 13 квітня 2013 р. HEVC розглядається не лише для поліпшення якості відео, але і для досягнення двічі ступінь стиснення H.264 / MPEG-4 AVC (еквівалентно 50% зниженню швидкості передачі даних при тій же якості зображення), і може підтримувати роздільну здатність 4K і навіть телевізор ультрависокої чіткості (UHDTV), найвища роздільна здатність досягти 8192 × 4320 (роздільна здатність 8K).
Патентна ліцензія
HEVC вимагає від усіх виробників контенту, які використовують технологію H.265, включаючи Apple, YouTube, Netflix, Facebook та Amazon, сплачувати 0.5% свого доходу від вмісту як плату за використання технології. Весь ринок потокових медіа щороку сягає близько 100 мільярдів доларів США, і він продовжує Зростання, збір у розмірі 0.5%, безумовно, є величезною платою. І вони не відпустили виробників обладнання, серед яких виробники телевізорів повинні платити 1.5 доларів США за одиницю, а виробники мобільних пристроїв 0.8 доларів США за одиницю в якості патентних зборів. Вони навіть не відпустили таких виробників, як плеєри пристроїв Blu-ray, ігрові приставки та відеомагнітофони, які повинні платити по 1.1 долара за кожен.
Реалізація H.265 / HEVC з відкритим кодом
libde265 HEVC надається компанією struktur за ліцензією з відкритим вихідним кодом GNU Lesser General Public License (LGPL), і глядачі можуть насолоджуватися зображеннями найвищої якості на повільних швидкостях Інтернету. Порівняно з попередніми декодерами на основі стандарту H.264, декодер HEVC libde265 може довести ваш вміст у форматі Full HD до подвоєної аудиторії або зменшити пропускну здатність, необхідну для потокової передачі, на 50%.
x265 розроблений MulticoreWare і відкритий за угодою GPL.
VP8
Вступ
VP8 - це відкритий формат стиснення відео, який спочатку був розроблений On2 Technologies, а потім випущений Google. У той же час Google також випустив кодовану бібліотеку реалізації VP8: libvpx, яка була випущена у формі ліцензійних умов BSD, а згодом додала право на використання патенту. Після деяких аргументів авторизація VP8 була остаточно підтверджена як авторизація з відкритим кодом.
В даний час веб-браузерами, які підтримують VP8, є Opera, Firefox та Chrome.
Патентна ліцензія
У березні 2013 року Google домовився з MPEG LA та 11 власниками патентів про надання Google змоги отримати VP8 та попередні VPx та інші кодування, які можуть порушувати патенти. У той же час Google може також повторно авторизувати відповідні патенти для користувачів VP8 безкоштовно. , Ця угода також підходить для наступного покоління кодування VPx. Наразі MPEG LA відмовилася від створення централізованого ліцензійного альянсу VP8, і користувачі VP8 зможуть вирішити користуватися цим кодом безкоштовно, не турбуючись про можливі винагороди за порушення патентів.
Реалізація VP8 з відкритим кодом
Libvpx - це єдина реалізація VP8 з відкритим кодом. Він був розроблений компанією On2 Technologies. Після того, як Google придбав його, він відкрив свій вихідний код. Ліцензія дуже вільна і нею можна користуватися вільно.
VP9
Вступ
Розробка VP9 розпочалась у третьому кварталі 2011 року. Мета - зменшити розмір файлу на 50% порівняно з кодуванням VP8 за однакової якості зображення. Інша мета - перевершити кодування HEVC за ефективністю кодування.
13 грудня 2012 року браузер Chromium додав підтримку кодування VP9. Браузер Chrome почав підтримувати відтворення відео, кодованого VP9, 21 лютого 2013 року.
Google оголосив, що завершить розробку коду VP9 17 червня 2013 року, коли браузер Chrome керуватиме кодом VP9 за замовчуванням. 18 березня 2014 року Mozilla додала підтримку VP9 до браузера Firefox.
3 квітня 2015 р. Google випустив libvpx1.4.0, який додав підтримку 10-бітної та 12-бітової глибини, 4: 2: 2 та 4: 4: 4 вибірки кольоровості та багатоядерного кодування / декодування VP9.
Патентна ліцензія
VP9 - це відкритий формат, формат кодування відео без роялті.
Реалізація VP9 з відкритим кодом
libvpx - це єдина реалізація VP9 з відкритим кодом, розроблена та підтримувана Google. Деякі коди спільно використовуються VP8 та VP9, а решта - це реалізації кодеків VP8 та VP9 відповідно.
Порівняння VP9 та H.264 та HEVC
Порівняння HEVC та H.264 при різних дозволах
Порівняно з H.264 / MPEG-4, середнє зниження швидкості передачі даних HEVC становить:
Видно, що бітрейт впав більш ніж на 60%
HEVC (H.265) має більшу перевагу в економії швидкості передачі даних для VP9 та H.264, заощаджуючи відповідно 48.3% та 75.8% під тим самим PSNR
H.264 має величезну перевагу в кодуванні часу. Порівняно з VP9 та HEVC (H.265), HEVC у 6 разів перевищує VP9, а VP9 майже в 40 разів більший, ніж H.264.
