Oℕ
Есть книжка https://arxiv.org/abs/1803.05316
Size: a a a
2019 March 16
A
Знаю, хорошее эссе, многие его рекомендуют)
A
Я верю, что ФП в будущем сменит парадигму. По крайней мере в задачах, требующих надежности, корректности, распределенных вычислений
A
Примерно как этот сектант)
Oℕ
да там и без фп дофига применений
A
Но насчет проектирования программ и нейросетей в терминах теории категорий не уверена
A
Например, я пока не нашла ответ на вопрос, что делать с неструктурированными данными
Oℕ
И с машинлёрнингом тот же Алекс кидел кучу статей про дифференцируемые линтипы
Oℕ
Соответственно сорта моноидальщины, как только разовьётся тема, будут рулить всеми этими машинлёрнингами
A
В задачах машинного обучения есть структурированные данные (табличные) и не структурированные (например, текст). Второй вид предобрабатывается, векторизуется, потом вектора обычно еще разреживаются. Я не понимаю, на каком этапе мы начинаем рассматривать данные как объекты
A
Еще не понимаю, что делать с fine-tuning (когда последний слой дообучается под задачу, например, ImageNet обученная для нескольких тюнится для двух классов) и transfer learning (когда модель используется для тех данных, на которых не обучалась)
A
Не то чтобы я адепт этих технологий, просто любопытно. Может быть, они загнутся, сменятся новыми подходами, а вот теория категорий продолжит существовать как нечто фундаментальное)
Oℕ
Давайте говорить о той части машинлёрнинга, которая занимается подбором параметров для дифференцируемых векторных функций
Oℕ
А не обо всех практических аспектах дата саенса
Oℕ
Вот построение и подбор параметров можно худо-бедно теоркатом описать, доказать пару (сотен) теорем и возможно получить какую-то высокоуровневую теорию
A
Да, лучше ввести ограничение
A
В ФП я увидела профит: выразительность кода (=! читабельность), легче распраллеливать. Здесь тоже есть, но пока думаю
A
Если на Хаскеле пишут блокчейн, компилятор, распределенную БД, DSL — не возникает вопросов, почему взяли такой инструмент. В отношении нейросетей я пока вижу что-то вроде «потому что могу» / «а давайте попробуем» / «я долго занимался теоркатом и теперь на нейросети смотрю через призму профдеформации»
EP
На самом деле дип лёнинг можно выразить с помощют треории категорий, продукт и копродукт, более устойчивая нейросеть. Тема интересная реально. Там какбы более мягкие категории