Роботы в омниверсе NVIDIAЗавершились первые два дня конференции GTC 2021, одного из самых важных мероприятий в мире AI/ML. Всего, конечно, в одном посте не расскажешь. Одна из историй, которая привлекла внимание — то, как BMW использует платформу Omniverse вместе с Isaac Robotics Platform.
Напомню, впервые концепцию Omniverse компания NVIDIA показала ещё на GTC 2019. В прошлом году предложила доступ к платформе для единичных клиентов, в конце 2020-го запустила открытое бета-тестирование. Вчера на ключевом докладе основатель компании Дженсон Хуанг заявил, что Омнивёрс теперь открыт для всех.
🌎 Платформа создана для совместной работы географически распределённых команд над 3D-проектами самого разного назначения. Там можно создавать целые трёхмерные миры, настолько реалистичные, что их трудно отличить от фотографии. Это отличный инструмент в производстве фильмов и видеоигр. Также, платформа позволяет работать с научными симуляциями, например, для разработки новых молекул лекарств. Европейская организация ECMWF, к примеру, создала симуляцию всей Земли для метеорологических прогнозов и прогнозирования изменения климата. Виртуальный клон нашей планеты работает на 20 000 графических картах NVIDIA. Также, платформа позволяет создавать цифровые двойники сложных промышленных объектов и тренировать роботов.
🚘 BMW оказалась в числе первых компаний, получивших возможность поиграться с платформой. Компания создаёт в Omniverse цифровые заводы для производства автомобилей прежде, чем их построить в реальности. Затем подключает к симуляции софт, разработанный на NVIDIA ISAAC. Это платформа для создания программного обеспечения для роботов с кучей тулзов и библиотек. Такая интеграция позволяет смотреть, как машины будут вести себя на заводе.
🦾Omniverse воссоздаёт все законы физики, поведения различных материалов, объектов и даже частиц в виртуальном пространстве. Поэтому здесь можно изучать, как манипулятор промышленного робота будет взаимодействовать с частью будущего автомобиля, куда полетят капли краски, если направить робота с пульверизатором в ту или иную сторону, где может застрять мобильная платформа, перевозящая компоненты, с какой скоростью полетит тело работника весом 70 кг, сбитого роборукой (такого, конечно, на презентации не показывали, но Omniverse и это тоже может рассчитать).
🧍Раньше реальные движения, которые совершают сотрудники фабрики, например, передвигая погрузочные тележки на заводе, компания BMW «снимала» с помощью специальных костюмов с сенсорами и технологии motion capture, которые используются в киноиндустрии. Теперь, благодаря тому, что в Omniverse есть цифровые люди, всё это можно делать в симуляции.
📦 Специальная фича — domain randomization, генерирует объекты определённого типа в разнообразных цветах, формах и размерах. Это могут быть, к примеру, пластиковые контейнеры для мелких деталей или коробки для крупных компонентов, тележки, банки и так далее. После генерации на этих виртуальных предметах можно тренировать или тестировать виртуального же робота. Как и в реальной жизни, робота можно отправить на автономное выполнение миссии и перехватить управление, если что-то пошло не так. BMW уже создала цифровые клоны 31-й фабрики в Omniverse.
В представлениях NVIDIA завод будущего — это робот, управляющий роботами, которые создают роботов (например, беспилотные автомобили). Физическая копия такого предприятия будет в постоянном контакте с цифровым двойником, наполняя систему управления ресурсами и финансового учёта (ERP) данными в реальном времени.
Любопытно, что компания теперь нечётко разделяет направления продуктов для беспилотного транспорта и автономных роботов, складывая всё в одну категорию «Автономные системы в реальных и виртуальных мирах». Хотя на данный момент для тестирования систем беспилотного транспорта компания предлагает отдельную платформу, где уже воссозданы самые разные дорожные условия и ситуации — NVIDIA DRIVE.
На этом GTC мне кажется впервые так отчётливо и убедительно прозвучало, что NVIDIA — софтверная компания, а не «железячная».
📖Подробнее про Omniverse
тут