Size: a a a

Natural Language Processing

2021 June 29

d

dePuff in Natural Language Processing
А пока тут активность, расскажите про вектора чего-нибудь побольше чем пара предложений.

А то может есть уже пара строчек кода которыми всё решается, а я проспал
источник

SancheZz Мов in Natural Language Processing
А что именно интересует?
источник

d

dePuff in Natural Language Processing
Ну хочу я вот текстов размером со статью вектора.
Семантическую близость, например, мерить
источник

SancheZz Мов in Natural Language Processing
Ух, тут конечно для коротких
источник

SancheZz Мов in Natural Language Processing
:(
источник

SancheZz Мов in Natural Language Processing
Но сделаю апдейт на большие сиквенсы
источник

SancheZz Мов in Natural Language Processing
Записал
источник

d

dePuff in Natural Language Processing
Я твой фанат
источник

ДС

Дмитрий Симаков... in Natural Language Processing
А когда там десятки тысяч токенов. То чем ты предлагаешь это извлекать?
источник

SancheZz Мов in Natural Language Processing
Да тут над уже хинтить
источник

ДС

Дмитрий Симаков... in Natural Language Processing
Берёшь тфидф, берёшь свд…
источник

SancheZz Мов in Natural Language Processing
Даже с 512ю
источник

d

dePuff in Natural Language Processing
Ты вот мою жизнь описал )
источник

d

dePuff in Natural Language Processing
А я хочу вот этого вот всего современного )
источник

ДС

Дмитрий Симаков... in Natural Language Processing
Лстм еще на пару тысяч можно. А дальше как жить. Можно сразу иерархические строить, но я чёт не видел.
источник

SancheZz Мов in Natural Language Processing
Резать на сиквенсы по 512 и далее складывать бррр
источник

T

Timur in Natural Language Processing
Есть всякие трансформеры с окололинейным атеншном
А вообще можно усреднять эмбеддинги окон по 512 токенов
источник

d

dePuff in Natural Language Processing
С оверлапом
источник

SancheZz Мов in Natural Language Processing
Вот я о том ж
источник

d

dePuff in Natural Language Processing
И лонгформеры есть.
Трёх строчек кода нет
источник