У галузі мобільних телефонів, моніторингу безпеки, автомобілів та доповненої реальності / віртуальної реальності (AR / VR) усі типи вбудованих додатків, які розробляються або плануються, включають нейронні мережі, а додатки нейронних мереж вибухають. Сфера інновацій нейронних мереж надзвичайна, її власна архітектура постійно оновлюється, і нові мережі, нові додатки та ринки також нескінченно з’являються. У міру поглиблення та ускладнення нейромережевих додатків вимоги до обчислювальної продуктивності зростають із кожним днем. Менш ніж за 4 роки вимоги до обчислень MAC / кадру зросли приблизно в 16 разів (див. Малюнок 1).
Рисунок 1 Зростання вимог до обчислень MAC / фреймів
З розвитком нейронних мереж попит на вбудовування процесорів (а не на використання процесорів та графічних процесорів) у пристрої продовжує зростати. Однак потужність обробки та швидкість роботи мережі не відповідають вимогам розвитку нейромережевих додатків. Цей конфлікт особливо очевидний у сфері застосування зору. Дотепер задоволення потреб нейромережевих додатків може покладатися лише на ресурси традиційних центрів обробки даних. Однак, оскільки безпека та затримка стають важливими міркуваннями, стає все більш поширеним впровадження нейронних мереж за допомогою вбудованих систем для обробки даних у режимі реального часу. Хоча більшість тренінгів з нейронних мереж можна проводити в автономному режимі, програми, що використовують нейронні мережі, повинні вбудовувати його в систему.
У всіх вбудованих додатках AR / VR або змішана реальність стикаються з унікальними проблемами. Більшість пристроїв у вищезазначених областях є пристроями, які можна носити, такими як розумні шоломи, навушники чи розумні окуляри. Вони покладаються на заряд акумулятора і є одним з найважливіших міркувань при виборі рішення нейронної мережі для споживання енергії. Ще однією важливою вимогою до додатків AR / VR є зменшення затримки, тому нейронні мережі повинні реалізовувати вбудовування пристроїв. Всі ці пристрої вимагають певного розпізнавання зображень, розпізнавання жестів, сегментації стереокамери, 3D зондування, відстеження голови, виявлення очей та можливостей відстеження очей. Існує багато різних технологій обробки зображень, але з часом деякі з цих функцій, такі як розуміння семантичного середовища, розпізнавання жестів або розпізнавання зображень, будуть реалізовані за допомогою нейронних мереж. Окрім візуальних / візуальних нейронних мереж, ці пристрої також ставлять вимоги до звукових / звукових нейронних мереж для отримання голосових команд.
У сучасних швидко мінливих технологічних умовах виробникам обладнання AR / VR потрібно негайно вибрати платформи для продуктів, які будуть продаватися в 2019, 2020 і навіть пізніше. Після впровадження нової нейронної мережі через постійні зміни в її архітектурі ми не можемо забезпечити ефективність поточної ефективної робочої платформи в майбутній системі. Крім того, ці програми також вимагають низької затримки та низького енергоспоживання, що також особливо важливо; але з огляду на постійне зростання вимог до нейронних мереж та постійний прогрес цієї тенденції, нам все ще потрібно забезпечити певний ступінь гнучкості та перспективності.
В даний час існує два основних варіанти реалізації нейронних мереж: процесор / графічний процесор або використання апаратних прискорювачів та відповідність DSP зображень. Кожен із цих двох варіантів може вирішити деякі проблеми, з якими стикаються дизайнери; але обидва мають деякі незадовільні компроміси щодо простоти розробки, енергоефективності, затримки, майбутнього простору оновлення або продуктивності. Апаратний прискорювач та відповідність DSP для обробки зображень є одним із варіантів вбудованих пристроїв, але ця комбінація неефективна і призведе до непотрібного енергоспоживання. На додаток до труднощів у розробці, програмне забезпечення також має бути розділене між DSP та акселератором. Тільки розвантаження згорткового шару суттєво збільшить навантаження на передачу даних і вплине на ефективність. Крім того, апаратне забезпечення фіксується під час виведення, тому ці прискорювачі не матимуть місця для майбутніх модернізацій.
Рішення DSP для нейронних мереж, які відповідають потребам вбудованих додатків, повинні відповідати таким вимогам: прості у розробці, здатні обробляти величезні обсяги даних, мати місце для майбутніх модернізацій, ефективно використовувати енергію та мінімізувати затримки.
Каденційне рішення: цифровий процесор сигналів Tensilica Vision C5 (DSP)
Як оптимізоване рішення для застосувань датчиків зору та термоядерного синтезу, Cadence Tensilica Vision C5 DSP - це перший в галузі DSP, присвячений обробці нейронних мереж і придатний для багатопроцесорної архітектури. Це рішення досягає безпрецедентної швидкості та низького енергоспоживання та відповідає всім вимогам високотехнологічної нейромережевої технології.
Рішення базується на майже 20-річному досвіді роботи з багатопроцесорними процесорами Xtensa з такими функціями, як спільне використання структури пам'яті, дозволені переривання, синхронізовані черги та синхронізована багатопроцесорна налагодження. Vision C5 DSP може реалізувати прискорення обчислення всіх шарів нейронної мережі (згортковий шар, повністю зв’язаний шар, шар об’єднання та рівень нормалізації), а не лише функцію згорткового шару. Таким чином, випущена здатність основного процесора обробки зору самостійно запускати програми для покращення зображення; тоді як Vision C5 DSP виконує завдання виведення. Усунувши надлишкову передачу даних апаратного прискорювача, енергоспоживання Vision C5 DSP значно нижче, ніж у існуючого нейромережевого прискорювача.
Vision C5 DSP має обчислювальну потужність 1TMAC / сек, що може задовольнити постійно зростаючі обчислювальні вимоги нейронних мереж; він також має точні розрахунки, має багатоядерну архітектуру дизайну та підтримує вбудовані рішення Multi-TMAC. Vision C5 DSP орієнтований на програми, які часто використовують кілька нейронних мереж. Завдяки програмованим характеристикам, рішення має місце для майбутніх модернізацій і може підтримувати нові шари в міру зміни дизайну.
Система обробки зору повинна бути розроблена комплексно, застосовна до всіх платформ, і одночасно розробляти апаратне та програмне забезпечення. Для того, щоб розробити цю технологію, дизайнери повинні використовувати інструменти та IP, які підтримують ефективні алгоритми, а використовувана апаратна платформа також повинна відповідати цільовим видаткам та енергоспоживанню кожного додатка. З точки зору системи, Cadence може підтримати дизайнерів вбудованих пристроїв зору в розробці трансформаційних продуктів якомога швидше та ефективніше.
Наш інший продукт:
