А, нет. Там AGI нет, так-что можно думать самим дальше.

И вообще нейронки это не то. Нужна другая архитектура, или сильно допиливать существующие нейронки.

Графовые нейронки + learning to learn?

Прямо саму суть менять. Добавить временную составляющую в сигнал, полностью заменить алгоритм обратного распространения на многопроходный с сигналами новизны/важности, ограничить диапазон основного сигнала. Всякие такие штуки должны превратить нейронки в что-то вроде интуиции человека. Но даже так не будет хватать эксплицитной памяти.

Есть такое в нейронках, когда gradient propagation заменяют на граф и обучение происходит во время inference

Я считаю что нейронки вполне могут, нужно только придумать побольше примочек

Когда я нейронки изучал, много прикольных штук, близких к своим идеям замечал, которые реализуются на базовой архитектуре нейронок. Но это выглядит так-же, как делать реализацию программы на стрелках пирса (или на какой там операции можно реализовать любой алгоритм?) - вроде можно, но пипецки неэффективно.

тут он врядли, но пытается(Редозубов) http://truebraincomputing.com/ru/%d0%be%d0%bf%d0%b8%d1%81%d0%b0%d0%bd%d0%b8%d0%b5-%d0%bc%d0%be%d0%b4%d0%b5%d0%bb%d0%b8/
http://www.aboutbrain.ru/

я писал ему на почту, меня послали. Не буквально конечно, но типа не очень хочет разбираться в чужих идеях

да-да, Редозубова я практически все статьи читал

Временная составляющая - это реккурентные сети. Новизна и важность сама может появится в ходе обучения если она понадобится. Ограничение основного сигнала, это про что? Есть l1, l2 norm, batch normalization.

Ганы сейчас прут во всю, рисуют лучше меня, а раньше только мутные картинки генерировали автоэнкодерами

я про то и говорю, что на простом нейроне и простом сигнале строят интересные вещи. Но их можно и внутрь узла встроить. Нейрон будет уже не такой простой, но более умный, их нужно будет меньше, можно больше контролировать процессы в сети, создавать динамические по размеру слои. Чтобы не лепить N нейронов, "авось хватит", а чтоб сеть сама добавляла нужные нейроны в тех местах, где не справляется. По тем же сигналам новизны, например.

Нейроны в нейроне? Вот я о такой штуке тоже думал, он может сигнализировать когда нужно создать связь или самоуничтожиться, и все это обложить бекпропом

И веса между большими нейронами расшарены

А нужны ли слои? Я считаю что отдельные модули по типу resnet, языковой модели можно взять классические, но клей между ними должен быть произвольным графом

да, я тоже думал что слои не нужны, и что граф может "нарастать" в глубину как хочет. Но это сильно увеличивает сложность: каждый узел может связаться с каждым. И не понятно как искать какие узлы связать.

а если добавить условные слои, то можно сузить сложность

Я что то нажал и все стерлось, ну и фиг с ним

блин, ещё 3 дня пережить надо до анонса... а потом ещё неопределённое время до старта.