VC
А какой вид сетки и какой год?
Size: a a a
2020 October 07
VC
Мб, тогда решали с помощью gradient clipping
I
два года назад
I
сюда, в лс?
I
там ссылка на гит
I
там есть нормализация. в модели SDAE
I
не сори, это инитиализация, бн вроде не вижу
VC
Да, тут авто энкодер используется без BN
I
у меня эта проблема возникает в extractSDAE, но они практически одинаковые.
I
Пропринтить среднее значение после каждого слоя
вот это попробую попозже
VC
МБ, они как-то по-другому борются.
I
ну в коде как таково я не видел, более того видимо у них и не возникало
I
у меня датасет 150к на 2к, но странно, что на первый же батч в первом эпоке выдает
VC
А в автоэнкодерах нельзя нормализации использовать?
I
вообще использовал в учебных заданиях, ничего смертельного, даже улучшало насколько помню.
VC
Просто не понимаю, почему не используют...
I
без понятия. может еще lr попробую уменьшить