1) Проеб воспроизводимости: если что-то поменял в коде, и тянешь изменения дальше, какой-то из следующих экспериментов учится хуево, ты не понимаешь почему, а оказывается в итоге, это из-за какого-то старого изменения, которое ты сделал - в итоге оно аукнулось здесь. Это хорошо, когда ещё получилось найти.
2) Ведение нескольких параллельных экспериментов с небольшими изменениями в гиперпараметре / ещё чем-то: чтобы четко оттрекать это, надо создавать кучу веток с небольшими изменениями. Короче, легко запутаться в разных версиях одного и того же с небольшими изменениями.
3) Зачастую лучшие решения задачи содержат в себе ебаные костыли, типа вот смотрите у нас тут теория, вот у нас прайор, вот постериор, минимизируем KL-дивергенцию, только так оно нихуя не работает надо ещё к лоссу прибавить MSE )))