Розробка та навчання аудіо та відео

 Спочатку ми припускаємо, що хтось має нульову основу в аудіо та відео, і ніколи не вивчав жодних знань, пов’язаних з цифровою обробкою сигналів. Математична основа - це, в основному, рівень середньої школи, але він знайомий з розробкою C / C ++, принаймні знайомий із компіляцією та налагодженням IDE під певною платформою.

Зосередьтеся на двох проектах з відкритим кодом ffmpeg та webRTC, в основному розглядаючи відео частину ffmpeg та аудіо частину webRTC.

Перш за все, Почніть з декодування відео. Це найпростіший. Основний код для виклику декодування відео ffmpeg становить лише близько 100 рядків. Для декодування відео потрібно лише зрозуміти h.264, 80% + сцен знаходяться в цьому форматі кодування, зрозуміти основні H.264 sps pps NAL та інші концепції формату файлів, зрозуміти принцип формату зображення YUV та зрозуміти перетворення YUV у RGB , Отже, ви можете зробити візуалізацію зображень, ви можете досягти простого відеопрогравача. (В основному на першому етапі)

Потім, щоб дізнатись про кодування відео, рекомендується починати з x264, простий виклик коду кодування x264 складає менше 100 рядків. Кодування є більш складним, ніж декодування, оскільки декодування не вимагає налаштування будь-яких параметрів, а кодування має велику кількість параметрів, які потрібно налаштувати. На початку просто зрозумійте кілька основних понять, таких як частота кадрів, загальні методи управління потоком ABR CRF, GOP, I / B Що означає / P Frame відповідно. (Знову знайоме з кодуванням X264)

Кодек звукової частини подібний до кодека відео. На початковому етапі вам потрібно лише зрозуміти два кодери EAAC + та Silk, зрозуміти поняття звукового каналу, частоту дискретизації тощо та зрозуміти формат файлу Wave. Може бути простим аудіоплеєром. (Зробіть аудіоплеєр)

Складною частиною звуку є не кодек, а звуковий ефект. Погляньте на модуль обробки звуку в webRTC і зрозумійте наступні концепції: відключення шуму NS, придушення відлуння AEC, виявлення відключення звуку VAD, автоматичне регулювання підсилення AGC та вбудований webRTC. Хоча алгоритм не найкращий, він може вирішити 90% + проблем, і його варто вивчити. (Навчіться обробці аудіо webrtc)

Дізнавшись про це, мені потрібно подумати над питанням, чи хочу я пройти інженерний шлях, чи алгоритмічний. Якщо це алгоритмічний маршрут, то я повинен вивчати математику. За цифровою обробкою сигналу стоїть велика кількість основних математичних теорій. Якщо це інженерний шлях, то вам доведеться навчитися крос-платформенній розробці, вивчити збір, відтворення та обробку аудіо та відео на декількох платформах та вивчити оптимізацію мови збірки на декількох платформах. (Пов'язано з платформою)

Аудіо та відео - це дуже глибоке поле, і ви ніколи не закінчите навчання протягом усього життя, але ця галузь має ту перевагу, що швидкість оновлення знань є відносно повільною, вивчене непросто усунути та накопичити досвід дуже важливо. v

Наш інший продукт:

Професійна система блискавкозахисту для Tower	Пакет обладнання професійної FM-радіостанції	FM-передавач FMUSER FU-1000C 1000 Вт з інтерфейсом вхідного аудіо USB
Пакет FMUSER 200W FM-радіомовлення	Рішення IPTV готелю	FMUSER FSN-1000T V5.0 1KW FM радіопередавач