Про wetwareПравда же, вам, как и нам, с детства было интересно, на каком hardware работают все эти вот "души прекрасные порывы", самосознание и всё такое?
Не секрет, что "нейроны" из deep learning не имеют никакого отношения к настоящим, живым нейронам. Правда, всё современное программирование построено на тезисе Чёрча-Тьюринга, декларирующем, грубо говоря, что всё достаточно мощное hardware одинаково. Важно, что исполнять, а на чём, неважно. С другой стороны, даже в теории вычислительной сложности тезис Чёрча-Тьюринга подвергают сомнению [1] всякими заклинаниями типа BQP != BPP, и вообще, ну мало ли?
Далее, неокортекс (то, чем мы думаем) выглядит как однородная шестислойная сетка [2]. Что, правда
шести? В какой-то момент Алиса, которая голосовой помощник, работала на сетке глубины 100+ (надеюсь, это не ужасное NDA), а тут general intelligence!
Ну вот, всё это было интересно не только нам, но ещё и вот этим замечательным людям:
https://science.sciencemag.org/content/367/6473/83Что они обнаружили:
- единственный нейрон человеческого мозга умеет вычислять функцию XOR. С распространенными в современных искусственных нейросетках функциями активации для этого понадобится сеть глубины 2. Умение вычислять XOR вообще крайне интересное свойство: именно после того, как Марвин Минский доказал, что самые первые нейросетки ("перцептроны") с этим не справлялись, началась первая "зима AI" (многолетний период разочарования и отсутствия интереса) [3]
- что более интересно, в статье утверждается, что это одновременно ещё и первый пример того, как человеческие нейроны могут делать нечто, принципиально отличное от нейронов грызунов
Фактически, если переводить на наш язык, в неокортексе обнаружили блоки с такой вот клёвой функцией активации:
https://i.imgur.com/gcJFiIZ.jpgНастолько похоже на гауссиану, что вряд ли совпадение. Ну, кто первым попробует?
Ссылки
[1]
https://en.wikipedia.org/wiki/Church%E2%80%93Turing_thesis#Variations[2]
https://en.wikipedia.org/wiki/Neocortex#Layers[3]
https://en.wikipedia.org/wiki/Perceptrons_(book)