2) Помимо MLM можно прикрутить лосс от Electra: половина токенов заменяется, но не на [mask] или случайный токен, а на токен, предсказанный бертом. А задача нового берта - классифицировать токен, оригинальный он, или был изменён.

Спасибо

Присоединяюсь к первому вопросу, тоже така задачка стоит. Из идей кроме усреднения только второй Берт поверх выхлопа CLS

По второму кажется, что MLM не достаточно. MLM  для Seq2Seq задач. Во всяком случае стимула у Берта ложить в CLS что-то важное у него нет. Нужно наверно обучать задачку NSP. Или, если в корпусе мало документов с больше чем одно предложение, можно попробовать TSDAE

Я не специалист по эмбеддингам документов, но интуиция подсказывает, что если смысл отдельно взятого предложения можно полностью уложить в 500-мерный вектор, то смысл документа размером в несколько абзацев - уже не упихнешь без потери информации. Поэтому надеяться на получение "универсальных" эмбеддингов документов не стоит, и лучше сразу обучать эмбеддинги для конкретной supervised задачи, которую вы собираетесь решать, и на конкретном домене.

Я кстати в итоге сравнил

Cls хуже работает у labse на retrieval  тасках чем mean pool

И при тюнинге тоже

На одной и той же архитектуре разница в 9% пунктов

Язык ру и англ

Интуиция подсказывает то же самое и про одно предложение)) Особенно если потом просто считать необучаемое расстояние между эмбедингами документов...

А вот странно,  ведь последний слой Может научиться делать mean polling на cls токене, если это работает лучше всего.  Почему он так не делает? Или тупо переобучение? Интересно посмотреть веса голов внимания на cls токене после обучения.

cls токен видит ток эмбеддинги токенов

Mean pool видит токены все относительно всех

Достаточно сделать аттеншн рассмотрение относительно cls чтобы понять что он слабее по контексту чем mean pool

Непонятно. Вроде же attention head усредняет values вектора с предыдущего слоя. Значит на выходе на cls токене средее взвешенгое выходов с предпоследнего слоя со всех токенов. Пропущенные еще через ffnn конечно.

То есть разница только в том, что там усредняются представления с предпоследнего слоя,  а не с последнего.  Зато веса обучаемые, да еще ffnn Может что-то сделать полезное со средним.

Вот это тоже просьба объяснить. Избежать лика чего и подсматривания куда?

Да разница в этом

Но и пуллинг тоже тюнится

Как в гпт ток левосторонний аттеншн чтобы справа от токена не смотреть