Size: a a a

Теория категорий

2019 March 16

__

_________ _________ in Теория категорий
кажется это теоретическое обоснование эвристических конструкций который вы там в этих нейросетях и дипленингах используете (если еще используете), как следствие более осознаное чтоли настройка "этих параметров" и переход от эвристического подхода к более "интуитивному"
источник

__

_________ _________ in Теория категорий
не?
источник

A

Aλice in Теория категорий
Дисклеймер: я бекендер, а ML просто хобби. Эвристики используются, это подход, основанный на правилах. Он слишком заточен под данные и задачу, трудоемкий. Нейросети позволяют за дешево приблизить любую функцию по набору данных, но это черный ящик( Методы классического машинного обучения можно объяснить до коэффициента, но ансамбли алгоритмов (randomforest, xgboost) так же неинтерпретируемы, как и нейросети. Да, теория категорий решает проблему интерпретируемости, но становится понятнее не всем. Одна абстракция объясняется через другую абстракцию
источник

__

_________ _________ in Теория категорий
ну вот вы там докторскую скинули там во введение(глава 0) мотивация прям на пальцах расписана не?
источник

A

Aλice in Теория категорий
Обобщение и описание нейросетей
источник

A

Aλice in Теория категорий
Есть другой способ говорения: сравнивать их с работой человеческого мозга
источник

DM

Daniel Matveev in Теория категорий
Aλice
Есть другой способ говорения: сравнивать их с работой человеческого мозга
это уже давно осталось только в интро курсах
от мозга там сейчас все сильно далеко
источник

A

Aλice in Теория категорий
Кто-то считает, что это некорректно и маркетологами придумано, кто-то приводит в пример Spiking Neural Networks, CapsNet, архитектуру Хинтона
источник

A

Aλice in Теория категорий
Хотя современные архитектуры это чистая инженерия
источник

A

Aλice in Теория категорий
И подходы там часто используются грязные. Например, в используемой библиотеке может быть баг, и приходится лезть в исходники и править (был доклад на spbdsm от разработчика из одноклассников про xgboost на java, который проявлялся только при онлайн-обучении модели)
источник

Oℕ

Oleg ℕizhnik in Теория категорий
В любом случае, категорное описание дифференциальной оптимизации будет не похоже на тот теоркат, которым вдохновляется ФП
источник

A

Aλice in Теория категорий
Да. Это важное уточнение. Потому что доклад про архитектуру программ затрагивал также языки с возможностью писать в ООП стиле (С#). Несмотря на то, что примеры к статье про backpropagation на haskell и scala, в принцип подход не сводится к реализации нейросетей на языках с функциональными фичами
источник
2019 March 17

A

Aλice in Теория категорий
Мне объяснили профит:
«Читать статьи по НС зачастую непросто. Идеи очень разнообразны, и авторы широко индивидуально применяют способы объяснения своих подходов. Так же варьируются математические нотации. Посмотреть схему обучения, чтобы понять, что в ней делалось, было бы очень удобно. При этом схемы должны быть достаточно ёмки для любой математической идеи».

Я получила ответ на свой вопрос, вдруг еще кому-то интересно
источник

AG

Alex Gryzlov in Теория категорий
Aλice
Есть статьи, объясняющие в терминах теории категорий, как запрогать нейросеть на функциональном языке. Например, здесь:
https://arxiv.org/pdf/1711.10455.pdf
рассматривается backpropagation как метод, зависящий от выбора размера шага и функции ошибки, а сами нейросети как метод для определения параметризованных функций. Получается, что мы можем установить взаимно однозначное соответствие между данными из обучающей выборки и размеченными ответами; между данными из тестовой выборки и ответами модели. В то же время кортежи данных (а,b) можно рассматривать как объекты и от них рисовать стрелочки уже к парам на соседнем слое нейросети (обновления весов как морфизмы). Ансамбли алгоритмов можно рассматривать как композицию функций.

Какие-то идеи в области описания архитектуры НС в терминах теорката еще только зарождаются:
https://twitter.com/_julesh_/status/1075013357051236359 (нейронные сети и CycleGAN)

А что-то уже есть в статьях:
http://www.brendanfong.com/BackpropAsFunctor.pdf (Open Game)
http://outlace.com/TensorNets1.html

Недавно на питерском митапе дотнет был доклад про редактор кода для описания архитектуры программ диаграммами с использованием теории категорий: https://docs.google.com/presentation/d/1Sr_kH3fXds6-_abczFu-C3m0bHfQlXu8T9W6jjW836Y/edit?usp=drivesdk
источник

AG

Alex Gryzlov in Теория категорий
ну и Гавранович на эту тему постит свежак
источник

__

_________ _________ in Теория категорий
Aλice
Обобщение и описание нейросетей
ну нет там о другом речь шла мне кажется
источник

A

Aλice in Теория категорий
О чем?
источник

__

_________ _________ in Теория категорий
о качественном расширении алгоритмов в целом
источник

__

_________ _________ in Теория категорий
14-я страница
источник

A

Aλice in Теория категорий
Возможно, это про пайплайны обучения, где несколько алгоритмов выполняются параллельно (но надо учитывать ограничение: в этой работе идет речь про обучение с учителем, в частности, задачу классификации). Например, в библиотеке sklearn есть GridSearchCV для распараллеливания, но не видно, сколько создаётся потоков, это как черный ящик. Причем это на питоне, и я не знаю, это реализовано через механизм поднятия и опускания GIL или там под капотом С/С++, надо посмотреть исходники. Тогда, наверное, теория категорий позволяет более осмысленно представить, что происходит, и реализовать на более подходящем инструменте
источник