Телеграмм чат группы natural_language

Я пробовала gpt от Сбера, но она часто несёт чушь

16:55пожаловаться #1

самих слов, это языковые модели. если всуе поминать тот же цитированный ЛФТ, мир и язык в отношении как пластинка и музыка. простите за празднуют философию.

вобщем мысль что язык хоть и гибок, он все же имеет схожую с миром фактов структуру. иначе мы бы не понимали друг друга

16:55пожаловаться #2

E E in Natural Language Processing

Было лет 15 назад очень популярное направление - semantic web - попытка создать аналог web, но содержащий знания человечества не в виде текстов, а в виде формальных описаний, к которым можно применять алгоритмы логического вывода. Посмотрите на онтологии типа Sumo, DBPedia, - похоже, это ближе всего к тому, что вы хотите.
https://www.ontologyportal.org/

16:55пожаловаться #3

Ilya Kalinin in Natural Language Processing

GPT, как следует из названия, это генерация текста. На основе других текстов. Ждать от нее осмысленности трудно. Если дообучите на своих примерах - будет правдоподобнее

16:57пожаловаться #4

Да, я уже обратила внимание на Sumo, из списка, что посоветовали. Кажется это похоже на то что мне нужно, спасибо

16:57пожаловаться #5

Мне кажется, нейросетевые модели языка это черный ящик, который трудно контролировать, и неизвестно, что он выдаст и как на это влиять

16:59пожаловаться #6

трансформеры еще более-менее интерпретируются, в отличие от мозга.

вобщем вы примите пожалуйста во внимание ограниченность фактологических подходов. уже как минимум пара провалилась

17:00пожаловаться #7

Хорошо, я понимаю что это считается тупиковым вариантом

17:01пожаловаться #8

Просто хотелось поэкспериментировать

17:02пожаловаться #9

Ilya Kalinin in Natural Language Processing

Вот тут, п.1.7 некоторое описание доступных есть: http://www.ict.nsc.ru/jspui/bitstream/ICT/1647/1/68352e2-st08.pdf

17:02пожаловаться #10

E E in Natural Language Processing

Для мозгов рисуют хитмапы - какие области активируются, когда человек видит то или иное слово / концепт. Для трансформеров тоже рисуют хитмапы - какие веса у аттеншена, когда кодируется то или иное слово. Почему вы считаете, что трансформеры лучше интерпретируются?

17:03пожаловаться #11

как ни странно, с графовыми сетками может что-то получиться, если их как-то пожениться с эмбеддингами.

но это гипотеза.

17:03пожаловаться #12

Хорошая гипотеза

17:03пожаловаться #13

да, я именно про хитмапы. про мозг меньше знаю - но думаю там области пересекаются куда сильнее

Alex Orgish in Natural Language Processing

17:04пожаловаться #14

Больше чем в wikidata структурированных знаний нигде нет. И wikidata в последнее время обновляется автоматически обнаруженными фактами, так что можно встретить бред. Вот например факты про руку:
https://m.wikidata.org/wiki/Q43471

www.wikidata.org

arm

forearm and upper arm together

Alex Wortega in Natural Language Processing

17:05пожаловаться #15

Мозг это n_мерная структура и мы довольно примерно понимаем как он работает. Самое близкое - делать рентген процессора и смотреть как и когда активируются разные блоки/транзисторы

17:06пожаловаться #16

Спасибо, интересный документ

17:06пожаловаться #17

Надо будет поискать дампы wikidata за то время пока не было автообновлений

17:08пожаловаться #18

Всем большое спасибо, что откликнулись на мой вопрос

17:11пожаловаться #19

E E in Natural Language Processing

Как математически работают Трансформеры мы, конечно, знаем хорошо, но вот чему они в итоге выучились (какие знания о мире, какие знания о языке) - боюсь, тоже очень примерно.