3. колекція
Придбання в основному включає два аспекти: придбання відео та придбання аудіо. Відео збирається камерою, що передбачає відповідну роботу камери та налаштування параметрів камери. Через відмінності в камерах різних виробників мобільних телефонів, у цьому плані є деякі підводні камені, які будуть описані в статті про камеру. Звук збирається через мікрофон. Мікрофони різних мобільних телефонів підтримують різну частоту дискретизації звуку, і іноді звук потрібно відмінити, щоб підтримати функцію мікрофона.
Ключові моменти технології зйомки відео:
Перевірте, чи можна використовувати камеру;
Зображення, захоплене камерою, є горизонтальним, і його слід повернути до певної міри перед тим, як відображати;
Під час зйомки фотокамерою можна вибрати ряд розмірів зображення. Якщо розмір захопленого зображення не відповідає розміру екрана мобільного телефону, потрібна спеціальна обробка;
Камера телефону Android має ряд станів, і відповідна робота камери повинна бути в правильному стані;
Багато параметрів камери телефону Android мають проблеми із сумісністю, і цим проблемам сумісності потрібно вирішити краще.
Основні моменти технології захоплення звуку:
Перевірте, чи можна використовувати мікрофон;
Потрібно виявити підтримку мобільного телефону певною частотою дискретизації звуку;
У деяких випадках необхідно виконати обробку ехоприглушення звуку;
Встановіть правильний розмір буфера під час захоплення звуку.
Примітка. Пізніше буде спеціальна стаття про колекцію
4. обробка
Обробка відео
Зараз краса - це майже стандартна конфігурація програмного забезпечення для прямого мовлення мобільних телефонів. Після прикраси ведучий має вищий вигляд і привабливіший для шанувальників. Є також кілька програм для прямого ефіру для Android, які можуть розпізнати обличчя ведучого та додати веселих анімацій. Спецефекти, іноді нам також потрібно додати до відео водяний знак.
Насправді, покращення відео та додавання спецефектів обробляються через OpenGL. В Android є GLSurfaceView, схожий на SurfaceView, але його можна відтворити за допомогою Renderer. Текстуру можна генерувати за допомогою OpenGL, SurfaceTexture можна генерувати за допомогою ідентифікатора текстури, а SurfaceTexture можна передавати Камері, і нарешті екран попереднього перегляду камери та OpenGL підключаються через текстуру, так що через OpenGL можна виконувати ряд операцій .
Весь процес прикраси - це не що інше, як створення нової текстури за допомогою технології FBO в OpenGL на основі текстури, попередньо переглянутої Камерою, а потім використання нової текстури для малювання на onDrawFrame () у візуалізаторі. Додавання водяного знаку полягає в тому, щоб спочатку перетворити зображення в текстуру, а потім використовувати OpenGL для малювання. Додавання динамічних підвісних спецефектів складніше. Спочатку необхідно виконати алгоритмічний аналіз для ідентифікації відповідних частин людського обличчя на основі поточного попереднього зображення, а потім намалювати відповідні зображення на кожній відповідній частині. Реалізація всього процесу є дещо складною.
Наступна фігура - блок-схема всього процесу краси:
Процес краси
На малюнку внизу дуже добре видно ефекти краси та анімації.
Краса
Анімаційні ефекти та водяні знаки
Примітка: Буде спеціальна стаття про OpenGL та реалізацію всього процесу.
Обробка аудіо
У деяких випадках ведучому потрібно додати деякі додаткові звуки, щоб підвищити атмосферу прямого ефіру, наприклад оплески тощо. Одним із способів боротьби з ним є відтворення додаткового звуку безпосередньо, так що мікрофон буде його збирати, а потім записувати разом, але такий вид обробки не буде працювати, коли якір носить навушники або йому потрібно виконати обробку звуковіддачі звуку . Оскільки відповідна функція не була додана до нашого проекту, наразі немає відповідного досвіду, яким би ми могли поділитися, ми можемо додати цю функцію пізніше, а потім поділитися нею з вами.
5. кодування
За допомогою камери та мікрофона ми можемо збирати відповідні відео- та аудіодані, але це вихідні дані у фіксованому форматі. Взагалі кажучи, камера збирає один кадр за кадром, а мікрофон - аудіодані PCM. Якщо ці дані надсилаються безпосередньо, обсяг даних часто дуже великий, що призводить до великої втрати пропускної здатності, тому перед відправленням часто доводиться кодувати відео та аудіо.
Кодування відео
1. Прогностичне кодування
Як ми всі знаємо, зображення складається з безлічі так званих пікселів. Велика кількість статистичних даних показує, що існує сильна кореляція між пікселями на одному і тому ж зображенні. Чим менша відстань між двома пікселями, тим сильніша кореляція. Якщо говорити неспеціалістами, то ближче значення цих пікселів. Тому люди можуть використовувати цю кореляцію між пікселями для виконання кодування стиснення. Цей метод стиснення називається внутрішньокадровим кодуванням передбачення. Мало того, співвідношення між сусідніми кадрами, як правило, сильніше, ніж співвідношення між пікселями всередині кадру, а ступінь стиснення також більший. Видно, що за допомогою кореляції між пікселями (внутрішньокадрової) та кореляції між кадрами, тобто знаходження відповідного опорного пікселя або опорного кадру як передбачуваного значення, може бути здійснено кодування стиснення відео.
2. Трансформувати кодування
Велика кількість статистичних даних показує, що відеосигнал містить найбільш енергоємні постійні та низькочастотні компоненти, тобто плоску частину зображення, і невелику кількість високочастотних компонентів, тобто деталі зображення. Тому для кодування відео може бути використаний інший метод. Після того, як зображення зазнає певного математичного перетворення, отримується зображення в перетвореному домені (як показано на малюнку), де u та v - це просторові координати частоти відповідно.
Перетворення кодування
3. Кодування на основі сигналу
Кодування на основі хвильової форми використовує гібридний метод кодування на основі блоків, який поєднує в собі прогнозне кодування та кодування перетворень. Для того, щоб зменшити складність кодування та полегшити виконання операції відеокодування, при використанні методу гібридного кодування спочатку розділіть зображення на блоки фіксованого розміру, наприклад блок 8 × 8 (тобто 8 рядків на блок, 8 пікселів на рядок), Блок 16 × 16 (16 рядків на блок, 16 пікселів на рядок) тощо, а потім стискайте та кодуйте блок.
Оскільки ITU-T випустив перший стандарт цифрового кодування відео-H.261 у 1989 році, він послідовно випустив стандарти кодування відео, такі як H.263 та стандарти мультимедійних терміналів, такі як H.320 та H.323. Експертна група з рухомих зображень (MPEG) під управлінням ISO визначила MPEG-1, MPEG-2, MPEG-4 та інші міжнародні стандарти кодування стиснення цифрового телебачення.
У березні 2003 року МСЕ-Т оприлюднив стандарт кодування відео H.264. Це не тільки значно покращує стиснення відео порівняно з попередніми стандартами, але також має хорошу спорідненість до мережі, особливо для IP-Інтернету, бездротової мобільної мережі та іншої продуктивності передачі відео, яку легко помилитися, легко заблокувати та нелегко гарантувати QoS . . Всі ці відеокодування використовують гібридне кодування на основі блоків, котрі всі є кодуванням на основі сигналів.
4. Кодування на основі вмісту
Існує також технологія кодування на основі вмісту, коли відеокадр спочатку ділиться на області, що відповідають різним об’єктам, а потім кодується. Зокрема, він кодує форму, рух та текстуру різних об’єктів. У найпростішому випадку двовимірний контур використовується для опису форми об’єкта, вектор руху - для опису його стану руху, а текстура - за допомогою кольорової форми хвилі.
Коли типи об’єктів у відеопослідовності відомі, можна використовувати кодування, засноване на знаннях або на основі моделі. Наприклад, для людських облич були розроблені деякі заздалегідь визначені каркаси для кодування рис обличчя. На даний момент ефективність кодування дуже висока, і для опису його особливостей потрібно лише кілька бітів. Для міміки (наприклад, розлюченої, щасливої тощо) можлива поведінка може кодуватися семантикою. Оскільки кількість можливої поведінки об'єкта дуже мала, можна отримати дуже високу ефективність кодування.
Метод кодування, прийнятий MPEG-4, є як блоковим гібридним кодуванням, так і методом кодування на основі вмісту.
5. М’яке та тверде в’язання
Існує два способи реалізації кодування відео на платформі Android, один - м’яке, а інший - жорстке. Для м’якого редагування він часто покладається на процесор і використовує обчислювальну потужність процесора для виконання кодування. Наприклад, ми можемо завантажити бібліотеку кодування x264, записати відповідний інтерфейс jni, а потім передати відповідні дані зображення. Після обробки бібліотекою x264 оригінальне зображення перетворюється у відео у форматі h264.
В жорсткому коді використовується MediaCodec, наданий самим Android. Щоб використовувати MediaCodec, вам потрібно передати відповідні дані. Ці дані можуть бути інформацією про зображення yuv або поверхнею. Зазвичай рекомендується поверхня, яка є більш ефективною. Surface безпосередньо використовує локальні буфери відеоданих без відображення або копіювання їх у ByteBuffers; тому такий підхід буде більш ефективним. Використовуючи Surface, ви зазвичай не можете безпосередньо отримати доступ до вихідних відеоданих, але ви можете використовувати клас ImageReader для доступу до ненадійних декодованих (або оригінальних) відеокадрів. Це все-таки може бути ефективніше, ніж використання ByteBuffers, оскільки деякі локальні буфери можуть бути зіставлені для прямих ByteBuffers. У режимі ByteBuffer ви можете використовувати класи Image та getInput / OutputImage (int) для доступу до вихідного кадру відеоданих.
Примітка: У наступній статті буде детально описано, як виконувати кодування відео
Audio Coding
AudioRecord можна використовувати в Android для запису звуку, а записаний звук - це звук PCM. Якщо ви хочете висловити звук мовою комп’ютера, ви повинні оцифрувати звук. Найпоширеніший спосіб оцифрування звуку - це імпульсна кодова модуляція (PCM). Звук проходить через мікрофон і перетворюється в ряд сигналів зміни напруги. Спосіб перетворення такого сигналу у формат PCM полягає у використанні трьох параметрів для представлення звуку. Це: кількість каналів, кількість бітів дискретизації та частота дискретизації.
1. Частота дискретизації
Тобто частота дискретизації, яка відноситься до кількості випадків, коли звуковий зразок отримується за секунду. Чим вище частота дискретизації, тим краща якість звуку та більш реалістичне відтворення звуку, але в той же час воно займає більше ресурсів. Через обмежену роздільну здатність людського вуха не можна розрізнити занадто високу частоту. У 22-розрядних звукових картах є 44 кГц, 16 кГц та інші рівні. Серед них 22 кГц еквівалентно якості звуку звичайного FM-мовлення, а 44 кГц еквівалентно якості звуку компакт-дисків. Поточна загальна частота дискретизації не перевищує 48 кГц.
2. Кількість біт вибірки
Тобто значення вибірки або значення вибірки (тобто амплітуда вибірки вибірки квантується). Це параметр, який використовується для вимірювання коливань звуку, і це також можна сказати як роздільну здатність звукової карти. Чим більше його значення, тим вища роздільна здатність і сильніша потужність звуку.
В комп'ютері кількість бітів дискретизації, як правило, становить 8 біт і 16 бітів, але, будь ласка, зауважте, що 8 бітів не означає розділення ординати на 8 частин, а розділене на 2 до 8-ї потужності, тобто 256 частин; те саме стосується 16 біт. Він ділить ординату на 2 до 16-ї міри 65,536.
3. Кількість каналів
Неважко зрозуміти, що існують однотонні та стереофонічні. Однотонний звук може виробляти лише один динамік (деякі також обробляються у два динаміки для виведення одного і того ж звуку каналу), а стерео pcm може створювати два динаміки Обидва звуки (зазвичай існує розподіл праці між лівим та правим каналами), так ви зможете більше відчути просторовий ефект.
Отже, тепер ми можемо отримати формулу ємності файлу pcm:
Ємність зберігання = (частота дискретизації ✖️ кількість бітів дискретизації ✖️ канал ✖️ час) ➗ 8 (одиниця: кількість байтів)
Якщо аудіо передається у форматі PCM, зайнята смуга пропускання є відносно великою, тому аудіо потрібно кодувати перед передачею.
Уже існують деякі широко використовувані формати звуку, такі як wav, MIDI, MP3, WMA, AAC, Ogg тощо. Порівняно з форматом pcm, ці формати стискають звукові дані, що може зменшити пропускну здатність передачі.
Кодування звуку також можна розділити на два типи: м'яке кодування та жорстке кодування. Для м’якого редагування завантажте відповідну бібліотеку кодування, напишіть відповідний jni, а потім передайте дані для кодування. В жорсткому коді використовується MediaCodec, наданий самим Android.
Примітка: У наступній статті буде конкретно описано, як виконувати кодування звуку
6, упаковка
Відео та аудіо потрібно визначити відповідний формат під час процесу передачі, щоб його можна було правильно проаналізувати, коли він передається на протилежний кінець.
1. HTTP-FLV
В епоху Web 2.0 найпопулярнішими типами веб-сайтів є, природно, Youtube з-за кордону, веб-сайти Youku та Tudou в Китаї. Можна сказати, що відеовміст, що надається на таких сайтах, має свої власні переваги, але всі вони використовують Flash як носій відтворення відео без винятку. Технічною основою підтримки цих відеосайтів є Flash Video (FLV). FLV - це абсолютно новий формат потокового мультимедійного відео, який використовує широко використовувану платформу Flash Player на веб-сторінках для інтеграції відео у Flash-анімацію. Іншими словами, поки відвідувачі веб-сайту можуть переглядати Flash-анімацію, вони можуть, природно, переглядати відео у форматі FLV без необхідності встановлювати додаткові плагіни для відео. Використання відео FLV забезпечує велику зручність у розповсюдженні відео.
HTTP-FLV інкапсулює аудіо- та відеодані у FLV, а потім передає їх клієнту через протокол HTTP. Як завантажувач, на відео потрібно передавати лише відео та аудіо у форматі FLV.
Взагалі кажучи, відео та аудіо у форматі FLV зазвичай використовують для відео формат h264, а аудіо зазвичай використовує формат AAC-LC.
Формат FLV полягає в тому, що спочатку передається інформація заголовка FLV, потім передаються метадані з відео- та звуковими параметрами (метадані), потім передається інформація про відео- та аудіопараметри, а потім передаються відео- та аудіодані.
Примітка: У наступній статті буде детально описаний FLV
2. РТМП
RTMP - це скорочення від протоколу обміну повідомленнями в режимі реального часу. Протокол базується на TCP і являє собою кластер протоколів, що включає базовий протокол RTMP та RTMPT / RTMPS / RTMPE та багато інших варіантів. RTMP - це мережевий протокол, призначений для передачі даних у режимі реального часу. В основному він використовується для аудіо, відео та передачі даних між платформою Flash / AIR та потоковим мультимедійним / інтерактивним сервером, що підтримує протокол RTMP.
Протокол RTMP - це протокол передачі в режимі реального часу, запущений Adobe, який в основному використовується для передачі аудіо та відео потоків у реальному часі на основі формату flv. Після отримання закодованих відео- та аудіоданих спочатку потрібно упаковка FLV, а потім упаковка у формат rtmp, а потім передача.
Щоб використовувати формат RTMP для передачі, вам потрібно спочатку підключитися до сервера, потім створити потік, потім опублікувати потік, а потім передати відповідні відео- та аудіодані. Вся передача визначається повідомленнями, rtmp визначає різні форми повідомлень, і для того, щоб добре відправляти повідомлення, повідомлення поділяються на блоки, що ускладнює весь протокол.
Примітка: aLater статті будуть детально описувати RTMP
Існує також кілька інших форм протоколів, таких як RTP тощо. Загальні принципи схожі, тому я не буду пояснювати їх по черзі.
7. погана обробка мережі
Відео та аудіо можна вчасно відправити в хорошій мережі, не викликаючи накопичення відео- та аудіоданих локально, ефект прямої трансляції є плавним, а затримка невеликою. У поганому мережевому середовищі, якщо аудіо- та відеодані не можуть бути відправлені, нам потрібно обробити аудіо- та відеодані. Зазвичай існує чотири методи обробки відео- та аудіоданих у поганому мережевому середовищі: дизайн буфера, виявлення мережі, обробка втрат кадру та обробка скорочення бітрейта.
1. Дизайн буфера
Відео- та аудіодані передаються в буфер, а відправник отримує дані з буфера і відправляє їх, утворюючи таким чином асинхронний режим виробник-споживач. Виробникові потрібно лише надсилати зібрані та закодовані відео- та аудіодані до буфера, а споживач несе відповідальність за вилучення даних із буфера та надсилання їх.
Відео та аудіо буфер
На малюнку вище показано лише відеокадр, і, очевидно, всередині є відповідні звукові кадри. Для побудови асинхронної моделі виробник-споживач Java створила хороший клас. Оскільки втрату кадру, вставку, видалення тощо потрібно обробляти пізніше, очевидно, що LinkedBlockingQueue - дуже хороший вибір.
2. Виявлення мережі
Важливим процесом у процесі поганої обробки мережі є виявлення мережі. Коли мережа стає бідною, її можна швидко виявити, а потім обробити відповідно. Це зробить мережеву реакцію більш чутливою, а ефект буде набагато кращим.
Ми обчислюємо дані у вхідному буфері за секунду та дані, що надсилаються в режимі реального часу. Якщо дані, що розсилаються, менші, ніж дані у вхідному буфері, то пропускна здатність мережі є поганою. В цей час дані в буфері продовжуватимуть збільшуватися. Активуйте відповідний механізм.
3. Обробка падіння кадру
Коли виявляється погіршення стану мережі, втрата кадру є хорошим механізмом реагування. Після кодування відео існують ключові кадри та неключові кадри. Ключовий кадр - це ціле зображення, а неключовий кадр описує відносну зміну зображення.
Стратегію скидання кадру можна визначити самостійно. Зауважимо одне: якщо ви хочете скинути P кадри (неключові кадри), вам потрібно скинути всі неключові кадри між двома ключовими кадрами, інакше виникнуть мозаїки. Дизайн стратегії втрати кадру варіюється залежно від потреб, і ви можете розробити її самостійно.
4. Швидкість скорочення коду
В Android, якщо для кодування використовується жорстке кодування, в поганому мережевому середовищі ми можемо змінювати швидкість передачі даних жорсткого кодування в режимі реального часу, щоб зробити пряму трансляцію більш плавною. Коли виявляється, що мережеве середовище погане, ми також можемо зменшити швидкість передачі відео та аудіо, опускаючи кадри. Коли версія Android sdk перевищує або дорівнює 19, ви можете передавати параметри в MediaCodec, щоб змінити швидкість передачі даних із жорстко закодованого кодера.
Бітрейт пакета = новий Bundle (); bitrate.putInt (MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, bps * 1024);
mMediaCodec.setParameters (бітрейт);
8. відправити
Після різної обробки дані потрібно остаточно розіслати, цей крок є відносно простим. Незалежно від того, чи це HTTP-FLV чи RTMP, ми використовуємо TCP для встановлення з'єднання. Перед прямою трансляцією вам потрібно підключитися до сервера через Socket, щоб перевірити, чи можете ви підключитися до сервера. Після підключення використовуйте цей Socket для надсилання даних на сервер і закрийте Socket після надсилання даних.
