IVA TPU — российская разработка в области AI станет серийным продуктом
В ближайшее время на базе российского ИИ-ускорителя с архитектурой IVA TPU начнётся производство нейропроцессоров для оконечных устройств (серия IVA E) и облачных сервисов (IVA H).
Прошлой осенью консорциум экспертов в области искусственного интеллекта MLPerf высоко оценил прототип на базе IVA TPU от молодой российской компании IVA Technologies.
Это типичный тензорный ускоритель на базе популярной FPGA Virtex серии Ultrascale+ и фреймворка TensorFlow 1.15.0 c нормами производства 28 нм.
За счёт FPGA его можно адаптировать под конкретные алгоритмы для свёрточных (CNN) или рекуррентных нейросетей с длительной и краткосрочной памятью (LSTM).
Сети данного типа используются в системах машинного зрения, системах распознавания рукописного ввода и устной речи, робототехнике и граничных вычислениях (Edge AI).
Сегодня Edge AI — одно из самых перспективных направлений. В нём выделяют самую сложную группу задач, характеризующуюся наиболее жёсткими ограничениями на латентность, преобразования моделей и точность вычислений.
В тестах MLPerf они относятся к группе Closed Division Edge (CDE), а на практике их требуется реализовать в беспилотном транспорте, дронах коммерческого и военного назначения, системах наведения и классификации целей и "умных" камерах с функцией распознавания лиц.
Также системы контроля с ИИ начинают внедряться на самых ответственных участках производственных линий.
Аппаратные решения для CDE выпускают гораздо меньше участников рынка, чем для потребительского сегмента. Соответствующие разработки есть у ARM, Centaur, Nvidia и Xilinx… а с осени 2020 года — также и у российской компании IVA Technologies.
Из результатов тестирования видно, что по сравнению с Xilinx Alveo U250 при использовании модели ResNet ускоритель IVA FPGA достигает близкой скорости классификации изображений (89 в секунду против 107 у Xilinx), при этом обеспечивая почти втрое меньшие задержки (12,23 мс против 37,46 мс у Xilinx).
Пиковая производительность IVA TPU оценивается в 20 TOPS (триллионов операций в секунду), а максимальное энергопотребление — менее 100 Вт.
Источник: MLPerf Подробнее: IVA Tech