DS
Но вообще, первый FC слой обычно не делает классификации еще
Size: a a a
2020 July 24
DS
Он выступает как сглаживающий слой
DS
А вот те что дальше уже да
AP
ну я про стартовое состояние многослойного fc, чтобы первый слой хотя бы попробовать уже натренированный взять. короче, как дойду, то посмотрю
AP
Но вообще, первый FC слой обычно не делает классификации еще
делает, если он всего один :)
DS
Софтмакс?
DS
Добавь перед ним FC
DS
И после него еще один софтмакс
DS
Станет лучше
AP
ну то есть, скажем, тыща входов, один fc<relu>, затем выходов 8 штук с софтмаксом
DS
На выходе хоть сигмоида?
DS
Любая из
DS
Хоть tanh, хоть бублик
AP
На выходе хоть сигмоида?
почему именно сигмоида?
DS
Потому что нейронка нормально не будет работать если вся нейронка на релю
DS
Если софтмакс на выходе должны быть сигмоиды
DS
Потому что они дают выход от -1 до 1 в случае гиперболического тангенса например
DS
Если тебе надо выдавать числа крупнее единицы на выход тоже можешь наваливать релю, но тогда должны быть сигмоиды внутри
DS
Короче, все сигмоиды не работает
DS
Все релю не работает