Да, зайди на канал

Ага, все правильно, на канале
https://www.youtube.com/channel/UC6KYPBaACVG0pkBWH5bkWLQ
есть все видео, которые я записывал

Спасибо

давайте поддержим товарищей, так-то не каждый день и статья годная и код выкладывают

Всем привет!

Мы (Nikolay Savinov, Alexey Dosovitskiy, Vladlen Koltun) написали статью "Semi-parametric Topological Memory for Navigation", ее приняли на ICLR'18. Если вы интересуетесь Robotics & Control - вам эта работа может быть полезна.

В нашей статье мы разработали новую модель памяти и рассмотрели приложение такой памяти в навигации. Тестировали память в таких условиях: агента помещают в новый лабиринт (не виденный ранее), дают ему 5-минутное видео обхода лабиринта, и просят найти цель по картинке. Ему требуется запомнить лабиринт из этого видео и использовать память, чтобы быстро найти цель.

Наш модуль памяти состоит из графа и 2 нейросетей, которые обучаются за счет self-supervision (без RL!). Результаты в 3 раза лучше, чем обычный RL с LSTM-памятью. Работает примерное так: граф содержит все воспоминания из видео, ребро означает возможность дойти от одного воспоминания до другого за несколько шагов, агент находит себя на графе с помощью одной нейросети, планирует путь на графе с помощью Dijkstra algorithm и использует другую нейросеть, чтобы двигаться по графу. Детали обучения нейросетей (и много экспериментов) - смотрите в статье!

Демо-видео: https://youtu.be/vRF7f4lhswo
Код: https://github.com/nsavinov/SPTM
Статья: https://arxiv.org/abs/1803.00653
Веб-сайт: https://sites.google.com/view/sptm/

share/like/repost @ twitter: https://twitter.com/SavinovNikolay/status/973933627250741248

👍👍

Прекрасная тема и статья интересная

А каким-образом модно поддержать статью попавшую на iclr?) попасть в группу поддержки?

только Twitter - только хардкор (bair там вообще адски пиарится)

Вооу

@Parilo @Scitator, нет желания с авторитетной точки зрения сделать обзор https://arxiv.org/pdf/1804.00361.pdf?

боюсь что это превратится в обзор хаков для DDPG

Если это будет с высоты вашего опыта, думаю это будет очень любопытно.

в таком случае я не против, я думаю, что было бы круто сделать это вместе с @Scitator и @fgvbrt

хах, это можно, рассказать всегда готов (у меня с этим предзащита 26го :) )

Это было бы замечательно

Наиболее полная подборка того, как агенты находят дыры в функции потерь
https://vkrakovna.wordpress.com/2018/04/02/specification-gaming-examples-in-ai/
https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml

докладчики, выкладывайте плз ссылки на презентации сюда
https://docs.google.com/spreadsheets/d/1ZeL1_mfR1ccwKKO_ihKs6R26pqy5bsJgU_t3jJjSN5c

Еще немного боли от тренировки RL
http://amid.fish/reproducing-deep-rl

Я бы убрал "не"

Всем привет!

В этот четверг, то есть уже завтра, на семинаре выступит Лиза Вахрамеева.

Как обычно, в ШАДе, Стенфорд, 19:00.

Если у вас нет пропуска, не забудьте зарегистрироваться по ссылке до сегодняшней ночи:
https://docs.google.com/forms/d/e/1FAIpQLSd18PGkZuOqkWThJhmNxnmiSVFicnH4YwLVTCOkEkVQV6ZIDg/viewform

Доклад будет посвящён статье DORA: The Explorer.
https://openreview.net/pdf?id=ry1arUgCW

Авторы вводят аппроксимацию счетчиков посещенных пар действий-состояний, которая позволяет учитывать неопределенность последующей за этой парой траектории.
Таким образом авторы довольно красиво решают задачу, которая уже неоднократно была озвучена в работах по RL: необходимость учёта в процессе exploration последствий действий агента в будущем, а не только мгновенного эффекта.

Приходите, будет интересно!