Привет!
На память приходит Stanley: The robot that won the DARPA Grand Challenge, но может быть она несколько устарела

Спс, глчну

предпоследняя лекция от чувака из nuAtonomy, начиная с 40-й минуты.

Этой статье оказывается лет 12, наверное коллеги могут что-то более современное посоветовать.

разные подходы есть. два экстрима: 1 - распознаем всю сцену, трекаем объекты, правилами описываем как надо рулить. 2 - ничего не описываем, загружаем тонну видео + сигналы от водителя, учим модель просто по картинке и датчикам.

обычно используют что-то посередине, ближе к 1-му (к примеру, яндекс)

Тут Вячеслав Мурашкин неделю назад рассказывал про нейронки в беспилотниках
> Как беспилотные автомобили распознают 3D-объекты: обзор современных методов
https://youtu.be/zy9fxYDgUQw?t=7781

Вчера на DataScience Major была ссылка на работу https://arxiv.org/pdf/1712.00378.pdf (если я все правильно нагуглил). Не выходит из головы очевидность этой идеи, непонятно почему раньше на это не обратили внимание.

Если коротко: если окружение ограничено по времени каким-то количеством шагов, то нужно разделять ситуации когда время закончилось и когда агент что-то сделал не так. Решение простое -- если время заканчивается, то в беллмане нужно бутстрапить из Q-функции.

Скажем, в learning how to run, многие делали отрицательный reward за падение. Но по сути, это тот же способ обойти эту проблему, только костыльный (иначе говоря, теоретически необоснованный), что, по идее, может приводить к нестабильности обучения, так как в конце будут эпизоды доходящие до лимита по времени, и у них будет неправильный reference reward.

Ого, фб выложили свою либу и юзкейсы RL. Думаю, будет интересно :

https://facebookresearch.github.io/BlueWhale/docs/begin.html

Как-то совсем не густо пока. Но будет интересно посмотреть, что будет дальше

мдя, что-то многие выкладывают свои фреймворки, но все еще слишком криво и слишком сложно
родные костыли - просто, надежно и быстро 🙂

ну у каждого костыли по своему росту прост

Если бы ребята что-то типа https://github.com/yandexdataschool/AgentNet для Pytorch'a выпустили с удобными реализациями памяти, аттеншнов и прочего, было бы клёво) Готовых алгоритм на пайторче уже итак большой зоопарк, а вот какого-то удобного RL-фреймворка поверх Pytorch я ещё не видел

@artemryzhikov там есть что-то нестандартное и интересное, кроме stack-augmented gru? Есть смысл переписывать?

В ЛС написал, чтобы не флудить сильно тут

немного оффтоп за прошедший retro contest
https://habr.com/company/ods/blog/421585/

Почему вы (?) В субботу не поехали в мейл?(

Только ради рассказа ехал :/

у Миши случился форс-мажор в последний момент, пока перенесли на 15е + я уже буду готов все годно рассказать 🙂