Ключові слова: Асинхронний аудіо та відео MPEG-2 PCR DTS PTS Encoder Decoder
З бурхливим розвитком цифрового телебачення в моїй країні та просуванням цифрової трансформації міських радіо- та телевізійних мереж все більше людей почали використовувати приставки для перегляду програм цифрового телебачення. Але в процесі перегляду телепрограм через приставку глядачі іноді виявляють, що деякі аудіо та відео не синхронізовані. Це також привернуло нашу увагу.
Феномен і тест
Місто Гуйян фактично завершило цифрову трансформацію своєї радіо- і телевізійної мережі наприкінці 2007 року, а програми телестанції Гуйчжоу також увійшли до передачі цифрової мережі. Після входу в цифрову мережу ми виявили, що кілька програм нашої станції мали явище несинхронізації аудіо та відео в деяких областях, особливо коли новини транслювались на супутниковому відеоканалі та каналі людей. Щоб з’ясувати, в чому проблема, ми вирішили провести тест на синхронізацію губ на всьому шляху передачі нашої програми. Обладнання, що використовується для випробування, - Tektronix WFM7120. Виконуючи вимірювання затримки аудіо / відео, також необхідно генерувати серію коротких кольорових відеосигналів через TG700 DVG7, і аудіопослідовність вбудована в цю групу відеосигналів з інтервалом 5 с, надішліть такий сигнал на тестова система і, нарешті, надішліть сигнал на WFM7120 для вимірювання різниці в часі між аудіо та відео.
Внутрішній тест центру управління трансляцією
Як показано на малюнку 1, для того, щоб виміряти, чи є різниця затримки аудіо / відео в системі телевізійної станції, ми використовуємо час перевірки, щоб записати тестовий сигнал, сформований TG700, на трансляційний жорсткий диск, відтворити його через жорсткий диск, і ввести тест-сигнал на затримувач. Після модуля синхронізації кадру він транслюється по каналу, а потім ми вимірюємо ці три сигнали до того, як відділ передачі передасть сигнал кодеру мережі. Результати вимірювань показують, що різниця затримки аудіо / відео цих трьох сигналів не перевищує 12 мс, тобто одного поля недостатньо, що вказує на те, що сигнал не має проблем із синхронізацією аудіо та відео в центрі управління трансляцією.
Тестування різних приставок
Для другої точки вимірювання ми обрали інтерфейсний комп'ютерний зал мережі. Як показано на малюнку 2, тут ми обрали основні марки приставок, які зараз використовуються в Китаї для тестування. Після кодування тестового сигналу TG700 через оригінальний кодер, який ми використовуємо, вставте його в канал, який ми зараз транслюємо. Потім використовуйте приставку у комп’ютерному кабінеті для демодуляції телевізійного сигналу. Потім декодований аудіо / відеосигнал надсилається на WFM7120 для вимірювання після A / D та вбудовування аналогового сигналу через відеореєстратор Panasonic D950. Результати вимірювань показують, що різниця затримки аудіо / відео у цих типів приставок різниться, деякі випереджають 150 мс, а інші відстають на 300 мс. Це показує, що різні приставки мають різні можливості підтримувати взаємозв'язок синхронізації між аудіо / відеосигналами після демодуляції та декодування одного і того ж цифрового телевізійного сигналу.
Тестування різних кодерів
Як показано на малюнку 3, ми все ще використовуємо генератор сигналів TG700 для тестування різних кодерів і дозволяємо кодеру, модулятору та приставці створювати імітаційне середовище трансляції / перегляду. Тут ми використовуємо кілька кодерів різних марок. Після кодування тестового сигналу TG700 він модулюється тим же модулятором, а потім сигнал декодується тією ж приставкою. Він також обробляється D950 і надсилається на вимірювання до WFM7120. Остаточний результат вимірювання полягає в тому, що деякі різниці затримки аудіо / відео становлять 30 мс, а деякі досягають 300 мс, що вказує на те, що різні кодери мають більший вплив на аудіо / відео синхронізацію кінцевого сигналу перегляду приставки.
Аналіз причин
Принцип синхронізації системи MPEG-2
В даний час у системі цифрового телебачення моєї країни стандарт MPEG-2 є важливим стандартом стиснення аудіо та відео. Він стискає, кодує та мультиплексує програмні сигнали на кінці джерела, а демультиплексує та декодує сигнали на приймальному кінці. Широко використовується. Цифрова система передачі, яку ми використовуємо, базується на стандарті MPEG-2. Давайте подивимось на структуру системи MPEG-2, як показано на малюнку 4.
З рис. 4 видно, що аудіо- та відеосигнали формують базовий потік після видалення надлишкової інформації кодером стиснення. Цей елементарний потік коду не можна зберігати або передавати безпосередньо. Його потрібно надіслати певному пакувальнику. Елементарний потік коду ділиться на абзаци відповідно до певного формату, а специфічні ідентифікаційні символи додаються для формування так званого упакованого елементарного потоку коду (PES). Пакети PES - це аудіо- та відеодані з різною довжиною. Потім аудіо- та відеопакети PES та допоміжні дані надсилаються до підсистеми передачі, які діляться на невеликі пакети даних з фіксованою довжиною 188b та мультиплексуються шляхом часового мультиплексування. Формується єдиний потік TS, і потік TS досягає приймального кінця після передачі через канал.
Як ми всі знаємо, синхронізація є необхідною умовою правильного відображення телевізора. Для цифрового телебачення, оскільки буфер використовується для зберігання сигналу під час процесу стиснення та кодування, тимчасова вісь сигналу в мультиплексорі змінюється, плюс кількість надмірності даних різна, ступінь стиснення також різна, тому тимчасова вісь Великі зміни, особливо в обробці шару групи кадрів, порядок B-кадрів та P-кадрів також змінився. Все це робить синхронізацію цифрових телевізійних сигналів повністю втрачає концепцію вихідної послідовності. Ефективним способом досягнення синхронізації є додавання мітки часу до потоку сигнального коду кожного разу, коли проходить заданий інтервал. За допомогою цього тегу кінець прийому може бути впорядкований відповідно до цього тегу часу під час процесу декодування перед відображенням, реконструювати порядок зображення перед стисненням та кодуванням, а також часовий зв’язок між звуком та зображенням, тим самим досягаючи синхронізації зображення та звук синхронізується із зображенням.
З малюнка 4 також видно, що в кодері MPEG-27 є єдиний загальний системний годинник STC (2 МГц). Цей годинник використовується для створення часової позначки, що вказує на правильне декодування та синхронізацію відображення аудіо / відео. У той же час, він може використовуватися для позначення вибірки Миттєве значення миттєвого системного годинника. Годинник блокується по фазі за допомогою лінійної синхронізації вхідного відео. Коли на вході подається сигнал SDI, системний годинник кодера генерується годинником, поділеним на 10. Це поява загального системного годинника в кодері, а також регенерація тактового сигналу в декодері та правильний використання позначок часу, які забезпечують основу для правильної синхронізації операцій в декодері. Для того, щоб здійснити синхронізацію синхронізації кодека, системний годинник STC підраховується в кодері, а значення вибірки лічильника передається одержувачу в заголовку адаптації обраного пакета TS кожного певного часу передачі, як декодування Програмний тактовий сигнал опорного процесора, яким є ПЛР. Дійсний біт PCR становить 42b, серед яких найвищим 33b є PCR_Base, що є значенням підрахунку в одиниці годинника 27 МГц і годинника, поділеного на 300, а низьким 9b є PCR_Extension, що є значенням підрахунку в годиннику 27 МГц як одиниця. На додаток до ПЛР, дуже важливі також мітка часу декодування DTS та мітка часу відображення PTS. Вони схожі на PCR_Base. Вони також створюються за допомогою системного тактового сигналу кодера 27 МГц, розділеного на 300 як значення одиниці виміру. Серед них DTS використовується для вказівки декодеру, коли декодувати отримане зображення та аудіокадр, а PTS використовується для повідомлення про те, коли відображати декодований кадр зображення.
При використанні двостороннього кодування декодування певного зображення повинно виконуватися протягом певного періоду часу перед тим, як воно відображатиметься, щоб воно могло використовуватися як вихідні дані для декодування зображення B-кадру. Наприклад, порядок відображення зображень - IBBP, але порядок передачі зображень - IPBB. Довідкова модель MPEG вважає, що декодування відбувається миттєво, тобто декодування та відображення виконуються одночасно. Для аудіокадрів та кадрів зображення B час декодування та час відображення однакові, а PTS такий самий, як і DTS, тому передавати потрібно лише PTS. Для відеокадрів I та P кадрів через переупорядкування кадру час декодування та час відображення різняться, і PTS та DTS повинні передаватися одночасно. Коли декодер отримує послідовність зображень IPBB, він повинен декодувати зображення I-кадру та P-кадру перед декодуванням першого зображення B-кадру. Декодер може декодувати одночасно лише один кадр зображення, тому спочатку декодує зображення I-кадру і зберігає його. Коли декодується зображення кадру P, воно виводить та відображає декодоване зображення кадру I, а потім декодує та відображає зображення кадру B. У таблицях 1, 2, 3 і 4 показана послідовність вхідних і вихідних зображень кодера, значення PTS і DTS кожного кадру, а також послідовність декодування та відображення кожного кадру зображення декодером.
У таблиці 1 13 кадрів зображень становлять групу зображень, перший кадр I використовує внутрішньокадрове кодування, другий і третій B кадри отримують двонаправленим прогнозуванням з першого та четвертого кадрів, а четвертий кадр P кадру пройшов повз перший кадр. Похідне від прямого прогнозування. Після кодування першого кадру кодер спочатку буферизує другий і третій кадри, кодує четвертий кадр, а потім кодує другий і третій кадри, і так далі, і остаточна закодована вихідна послідовність показана в показаній таблиці 2.
З таблиці 3 та таблиці 4 видно, що коли декодер отримує певний блок доступу, що містить зображення I кадру, пакет даних файлу повинен містити DTS та PTS, час між значеннями цих двох тегів Інтервал дорівнює 1 період зображення. Після того, як зображення I-кадру є P-кадром, у файловому пакеті даних також повинні бути DTS і PTS, а інтервал часу між значеннями двох тегів становить три періоди зображення. Тоді є два B-кадри, файлові пакети даних яких містять лише PTS. Тобто зображення I-кадру буде відтворюватися і відображатися після затримки одного кадру після декодування. Коли відображається кадр I, четвертий кадр P кадр декодується, але він не відтворюється і не відображається. Спочатку він кешується, а після відтворення та відображення кадру 2I негайно розшифруйте та відображте 3B кадри, потім 4B кадри, потім відображте буферизовані 7P кадри, одночасно декодуйте та буферуйте 1P кадри тощо. Видно, що послідовність декодованих та відображених зображень узгоджується з послідовністю введення зображень у таблиці XNUMX.
Принцип синхронізації декодера (приставка)
PTS та DTS - це лише значення 33b. Якщо немає посилання на часову вісь, представлену ПЛР, це значення безглуздо. Для підтримки правильного декодування системні годинники кодера і декодера (приставки) повинні бути заблоковані, тобто їх частоти залишаються однаковими, а початкові значення відповідних лічильників однакові.
У декодері (приставці) є осцилятор, керований напругою (VCO) з частотою близько 27 МГц. Вихідний сигнал надсилається на лічильник як системний тактовий сигнал для формування поточного значення вибірки STC, яке є значенням 42b, як ПЛР. Серед них, високий 33b є значенням рахунку в одиниці 27МГц тактової частоти після 300 рожевих частот, а низький 9b - значення підрахунку в одиниці 27MHz тактової частоти. Коли нова програма надходить на декодер (приставка), декодер (приставка) отримує значення PCR із потоку коду, порівнює своє значення PCR_Extention з нижчими 9b бітами поточного STC і отримує помилку сигнал, а потім проходить через ланцюг фазового блокування. Налаштуйте керований напругою генератор так, щоб системна тактова частота декодера (приставки) відповідала системній тактовій частоті кодера. Отримайте значення PTS та DTS кожного кадру послідовно із потоку коду та порівняйте їх із високими 33b бітами поточного значення STC. Якщо значення DTS перевищує значення STC, потік коду буферизується, і зміна значення STC контролюється одночасно. Коли значення STC збільшується до рівня DTS, потік коду кадру декодується. Коли значення STC дорівнює значенню PTS, відтворіть кадр. Якщо через дрожання буферної затримки мережі передачі, коли потік коду досягає декодера (приставки), його значення PTS вже менше значення STC, тоді декодер (приставка) пропускає цей кадр і відкидає дані кадру. Оскільки PTS і DTS генеруються на основі значення PCR, перше отримане значення PCR повинно використовуватися як початкове значення для встановлення лічильника STC декодера (приставки), щоб зробити їх значення однаковими, інакше часова база буде іншою. , Таким чином помилка декодування. Обробка аудіо та відео схожа, але немає проблем із перестановкою часу. На фіг.5 показана принципова схема роботи декодера (приставки) ПЛР.
Причини несинхронізованого аудіо та відео
У практичному застосуванні деякі кодери викликають тремтіння у вихідному тактовому сигналі через нестабільну базу часу вхідного відеосигналу, а інтервал синхронізації кадру не становить 40 мс. Для цих кодерів, після встановлення початкового значення DTS відповідно до PCR та затримки буферизації, значення DTS кожного кадру отримується додаванням фіксованого значення до попереднього DTS (це значення можна обчислити наступним чином: 27 МГц ділиться на 300 Це 90 кГц, а PAL TV - 25 кадрів в секунду, отже, значення становить 90000/25 = 3600), а значення PTS обчислюється відповідно до типу кадру та типу GOP. Однак значення ПЛР не збільшилось на 3600 протягом цього періоду, що призвело до того, що DTS та PTS ставали більшими або меншими щодо ПЛР. Деякі декодери (приставки) не використовують осцилятор, керований напругою, і їх системний тактовий сигнал має фіксовану частоту 27 МГц, але використовує отримане значення ПЛР для ініціалізації значення локального системного лічильника годинника. Кодер та декодер (приставка) не можуть підтримувати суворий замок, що може спричинити скидання кадрів декодером (приставкою). Однак деякі декодери (приставки) більше не строго декодують і відображають відповідно до DTS та PTS після втрати кадру, а декодують відповідно до ситуації буфера, оскільки затримка кодування відео та аудіо інша, це може спричинити звук Картина не синхронізована.
Крім того, у процесі передачі від кодера до декодера (приставки), через існування змінних буферних зв’язків, таких як мультиплексори та модулятори, затримка передачі пакетів PCR може бути не постійною, коливаючись від великої до маленький. Якщо ПЛР не виправити, можуть також виникнути вищезазначені проблеми.
Підсумовуючи
З вищенаведеного аналізу видно, що як кодер, так і декодер (приставка) можуть спричинити асинхронізацію аудіо та відео. Після тестування кодерів різних марок наша станція обрала кодер з кращими тестовими індикаторами та замінила оригінальний кодер, що значно покращило явище того, що звук та зображення телевізора не синхронізовані. На наступному етапі впровадження телеприставок мережеві компанії також посилять тестування відповідних показників для покращення якості рейтингу аудиторії. Звичайно, в процесі просування цифровізації радіо і телебачення моєї країни нам все ще потрібні спільні зусилля наших працівників телебачення та виробників обладнання, щоб нарешті досягти повного успіху. V
Наш інший продукт:
