AW
У open ai есть прикольный инструмент - microscope
Size: a a a
2021 June 30
EE
Т.е. ситуации симметричны - про мозг неизвестна математика, но известно что он знает. Про Трансформеры - наоборот.
A
о мире примерно, а о языке - все видно в метриках
EE
В каких метриках?
EE
Какие метрики говорят, насколько хорошо оно выучило, что определение согласуется с определяемым словом по роду-числу-падежу?
EE
На каждое такое свойство каждого языка нужен отдельный датасет и метрики:(
EE
Поэтому "все видно в метриках" - это конечно так, только эти метрики мы можем посчитать для очень ограниченного класса свойств языка, на которые уже кто-то потрудился разметить данные.
A
не, ну тут конечно не поспорить...
я имел ввиду что-то попроще. то есть предсказано наиболее вероятное слово - предсказано наиболее вероятная ситуация
я имел ввиду что-то попроще. то есть предсказано наиболее вероятное слово - предсказано наиболее вероятная ситуация
EE
Ну, это совсем технический подход. Это совсем ничего нам не говорит о том, какие конкретно знания о языке выучила модель.
EE
Еще никогда в истории computer science ученые не были так далеки от искуственного интереллекта, при этом самоуверенно утверждая обратное😂
A
это все равно больше чем ограниченный набор фактов. сетки могут в предикт.
с правилами еще Хомский вроде провалился.
то как сетки предсказывают, нам интуиции не хватит - но работает индукция: предсказали с каким-то качеством k слов, с k+1 тоже качество возможно.
с правилами еще Хомский вроде провалился.
то как сетки предсказывают, нам интуиции не хватит - но работает индукция: предсказали с каким-то качеством k слов, с k+1 тоже качество возможно.
AW
Кажется transformer based подходы все же самые близкие к исскувенному интеллекту
EE
"сетки могут в предикт" в предикт мог еще наивный байес и count-based LMs
EE
только в предикт чего? следующего слова?
EE
не слишком ли мало для понимания языка или мира?
EE
да, если ИИ - это штука, которая хорошо предсказывает следующее слово
AW
В сложный предикт, например у меня есть conditional gpt, в ней есть много жанров текста, но не было жанра фэнтези но были производные от него. В общем она смогла более менее похоже написать фэнтези
AW
Ну камон, все что угодно можно представить в виде задачи seq2seq
AW
С картинками это конечно извращенство, но например taming transformer очень хорошие резы показывает
EE
ну, некоторые попугаи тоже хорошо подражают речи своих хозяев. но при чем тут интеллект?