В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

3198 membersпожаловаться на группу
2021 July 23

SМ

SancheZz Мов in Natural Language Processing
Имхо
источник
23:47пожаловаться#1

SМ

SancheZz Мов in Natural Language Processing
+ как у cls токена копится сентенс инфа?)
источник
23:55пожаловаться#2

SМ

SancheZz Мов in Natural Language Processing
Как вы это понимаете
источник
23:55пожаловаться#3

SМ

SancheZz Мов in Natural Language Processing
?
источник
23:55пожаловаться#4

SМ

SancheZz Мов in Natural Language Processing
Я читал, что cls видит эмбеддинги окружения как обычно в аттеншн процедуре token* softmax(cls*token), далее сумма этого по всем взаимодействиям cls и токены окружения
источник
23:57пожаловаться#5

SМ

SancheZz Мов in Natural Language Processing
Получается такое вот "предложение "
источник
23:57пожаловаться#6

SМ

SancheZz Мов in Natural Language Processing
Но если взять сумму токенов из аттенш которые каждый с каждым так взаимодействуют и сумма уже полноконтекстных  их представлений, разница видна
источник
23:58пожаловаться#7
2021 July 24

SМ

SancheZz Мов in Natural Language Processing
https://github.com/huggingface/transformers/issues/1105
GitHub
How to get pooler state's (corresponds to CLS token) attention vector? · Issue #1105 · huggingface/transformers
The following model definition returns the attention vector for tokens corresponding to the input sequence length, i.e. x.size(1). How do I procure the attention vector of the pooler state (output ...
источник
00:02пожаловаться#8

SМ

SancheZz Мов in Natural Language Processing
И тут об этом
источник
00:05пожаловаться#9

SМ

SancheZz Мов in Natural Language Processing
https://stackoverflow.com/questions/62705268/why-bert-transformer-uses-cls-token-for-classification-instead-of-average-over
Stack Overflow
Why Bert transformer uses [CLS] token for classification instead of average over all tokens?
I am doing experiments on bert architecture and found out that most of the fine-tuning task takes the final hidden layer as text representation and later they pass it to other models for the further
источник
00:05пожаловаться#10

SМ

SancheZz Мов in Natural Language Processing
Тип эмбеддинг cls токена считается ток с аттешн относительно него
источник
00:13пожаловаться#11

SМ

SancheZz Мов in Natural Language Processing
Остальные токены посчитаются со всеми и уже эти полноконтекстные вектора со всеми усреднят это mean pool
источник
00:13пожаловаться#12

EE

E E in Natural Language Processing
Нее,  в MLM таске смотрят на все. Чтобы избегать лика - замена на mask токен
источник
00:13пожаловаться#13

SМ

SancheZz Мов in Natural Language Processing
Ок
источник
00:13пожаловаться#14

SМ

SancheZz Мов in Natural Language Processing
Но ризон cls меньше инфы выше
источник
00:14пожаловаться#15

EE

E E in Natural Language Processing
А по-моему наоборот ничему не научимся.  Потому что предсказания должны от позиции зависеть. А среднее арифметическое оно на всех позициях одно.
источник
00:17пожаловаться#16

SМ

SancheZz Мов in Natural Language Processing
Естественно с учетом позов
источник
00:17пожаловаться#17

SМ

SancheZz Мов in Natural Language Processing
Мы не забываем что эмбеддинги на вход в блок это суперпозиция ток эмбеддинга и поз эмбеддинга
источник
00:18пожаловаться#18

SМ

SancheZz Мов in Natural Language Processing
Это я оставил за скобками итак жеж понятно
источник
00:18пожаловаться#19

EE

E E in Natural Language Processing
Ладно,  сорри, я про лабсе пока не осилил. Только Берт, Роберту и ХЛНет пока прочитал.
источник
00:18пожаловаться#20