Грани реальности: как ускорить переход ИИ от виртуальной к физической среде
Исследователи из группы робототехники и машинного восприятия в Цюрихском университете при поддержке Intel разработали новый метод обучения нейронных сетей.
Он позволяет осуществить плавный переход от обучения в симуляции к тренировке в реальных условиях.
Преимущества нового подхода продемонстрированы на примере квадрокоптера. Всего через несколько часов ему удалось научиться выполнять акробатические маневры.
Более того, дрон самостоятельно освоил новые трюки, просто экстраполируя накопленные данные.
Важная особенность состоит в том, что дрон летал полностью автономно. Обычно в таких проектах есть группа внешних камер и мощный сервер, координирующий полёт.
Здесь же использовались только датчики на корпусе дрона и бортовая вычислительная система.
Самодельный полуторакилограммовый квадрокоптер с соотношением тяги к весу 4: 1 был оснащён платой Nvidia Jetson TX2 и системой 3D-зрения на базе Intel RealSense T265.
Последняя захватывает изображение и строит карту глубины при помощи двух камер со сверхширокоугольными объективами типа «рыбий глаз». Их суммарный угол зрения составляет 163°.
Дополнительно T265 оснащён 6-осевым инерционным измерительным модулем (IMU), что позволяет настроить управляющие алгоритмы точнее.
Изображение обрабатывает специализированный блок VPU Intel Movidius Myriad 2, оптимизированный для V-SLAM (одновременной локализации с построением карты на базе визуальных данных и инерциальной одометрии).
Выбор на T265 пал ещё и потому, что этот модуль имеет небольшие габариты (108 x 24.5 x 12.5 мм) и массу 55 г, что важно для использования в компактных дронах.
Первичное обучение проходило в среде моделирования Gazebo, которую слегка изменили, чтобы лучше моделировать физику квадрокоптера.
Быстрый переход из симуляции в реальность помог выполнить экспертный контроллер. Он корректировал ввод у «необстрелянного» квадрокоптера.
Поэтому во время настоящего полёта дрон продолжал считать, что находится в виртуальной среде.
Экспертный контроллер применял функцию преобразования к необработанной информации с датчиков, делая реальные данные похожими на смоделированные.
Постепенно уровень абстракции понижался, и через несколько часов дрон уже выполнял фигуры высшего пилотажа без посторонней помощи, используя скорректированные данные обучения в симуляции.
Видео: YouTube
Источник: RoboticsConference.org
Исследователи из группы робототехники и машинного восприятия в Цюрихском университете при поддержке Intel разработали новый метод обучения нейронных сетей.
Он позволяет осуществить плавный переход от обучения в симуляции к тренировке в реальных условиях.
Преимущества нового подхода продемонстрированы на примере квадрокоптера. Всего через несколько часов ему удалось научиться выполнять акробатические маневры.
Более того, дрон самостоятельно освоил новые трюки, просто экстраполируя накопленные данные.
Важная особенность состоит в том, что дрон летал полностью автономно. Обычно в таких проектах есть группа внешних камер и мощный сервер, координирующий полёт.
Здесь же использовались только датчики на корпусе дрона и бортовая вычислительная система.
Самодельный полуторакилограммовый квадрокоптер с соотношением тяги к весу 4: 1 был оснащён платой Nvidia Jetson TX2 и системой 3D-зрения на базе Intel RealSense T265.
Последняя захватывает изображение и строит карту глубины при помощи двух камер со сверхширокоугольными объективами типа «рыбий глаз». Их суммарный угол зрения составляет 163°.
Дополнительно T265 оснащён 6-осевым инерционным измерительным модулем (IMU), что позволяет настроить управляющие алгоритмы точнее.
Изображение обрабатывает специализированный блок VPU Intel Movidius Myriad 2, оптимизированный для V-SLAM (одновременной локализации с построением карты на базе визуальных данных и инерциальной одометрии).
Выбор на T265 пал ещё и потому, что этот модуль имеет небольшие габариты (108 x 24.5 x 12.5 мм) и массу 55 г, что важно для использования в компактных дронах.
Первичное обучение проходило в среде моделирования Gazebo, которую слегка изменили, чтобы лучше моделировать физику квадрокоптера.
Быстрый переход из симуляции в реальность помог выполнить экспертный контроллер. Он корректировал ввод у «необстрелянного» квадрокоптера.
Поэтому во время настоящего полёта дрон продолжал считать, что находится в виртуальной среде.
Экспертный контроллер применял функцию преобразования к необработанной информации с датчиков, делая реальные данные похожими на смоделированные.
Постепенно уровень абстракции понижался, и через несколько часов дрон уже выполнял фигуры высшего пилотажа без посторонней помощи, используя скорректированные данные обучения в симуляции.
Видео: YouTube
Источник: RoboticsConference.org
