DS
Для особых ценителей есть leaky relu, иногда может быть полезное)
Size: a a a
2020 July 24
AP
гуд... :)
AP
сенкс за пояснения.
DS
Просто как только релю взлетит в небо
DS
Или упадет к нулю
DS
Ее уже НИЧЕГО оттуда не вытащит
DS
Мы ж вспоминаем, что мы потом в процессе обучения пойдем отматывать назад считая производные
DS
И вот там оно за жопу схватит
DS
А сигмоидальные функции высерают всегда в диапазоне очень маленьком, асимптотическое поведение короче, проявляются вертикальные асимптоты
DS
Позволю себе напомнить что предел функции при х стремится к бесконечности а y целое число
DS
И вот благодаря этому пределу сигмоиды работают)
МК
Производные, сигмодальные, асимптоты... Это не про Перл никоим боком)
DS
Сорян, сворачиваемся)
МК
Вообще такие вещи надо первакам пояснять, зачем им сдавать матан и всё такое
DS
Ну для МЛ тебе даже интегралы не нужны) Производные с дифурами и линейка до тензоров
DS
DS
Там всякая ебала типа линейной оболочки и прочего добра не нужна
DS
Короче матрицы наше все
МК
Ну я в целом, про такие штуки, не только обучение, распознавание образов, речи и т.п.
МК
Без основы там делать нечего