SМ
Где-то mask mean pool
Size: a a a
2021 July 24
SМ
Дело эксперимента попробовать тюнить с одним или с другим.
SМ
На претрейн не претендуем
SМ
Там cls
EE
Все перебрать это для кэггл мастеров, мне бы хотелось интуицию от какого выхода чего ждать...
SМ
Да согласен
SМ
Для этого мы сейчас и обсуждаем этом,чтобы до истины дойти)
DD
По моим данным, они не такие уж и испорченные.
В этом блокноте я на 8 тасках сравнивал берты (без дообучения), на 5 для LaBSE оказались лучше CLS эмбеддинги, на 3 - mean.
Так что истина, похоже, в том, что более подходящий вариант нужно подбирать экспериментально)
В этом блокноте я на 8 тасках сравнивал берты (без дообучения), на 5 для LaBSE оказались лучше CLS эмбеддинги, на 3 - mean.
Так что истина, похоже, в том, что более подходящий вариант нужно подбирать экспериментально)
EE
А макс пулинг Не пробовали в принципе? Или хуже всегда?
EE
Огонь.
EE
Но там все без файнтьюна?
DD
Да, всё без файнтюна.
Файнтюнить на все эти задачи я пока не пробовал, но моё предположение в том, что при достаточно долгом файнтюнинге результаты cls и mean примерно сравнялись бы.
Потому что, как ты правильно заметил, модель под ними лежит одна и та же, и ничего не мешает берту научиться в последнем слое то же самое усреднение проводить, складывая результаты в CLS токен.
Файнтюнить на все эти задачи я пока не пробовал, но моё предположение в том, что при достаточно долгом файнтюнинге результаты cls и mean примерно сравнялись бы.
Потому что, как ты правильно заметил, модель под ними лежит одна и та же, и ничего не мешает берту научиться в последнем слое то же самое усреднение проводить, складывая результаты в CLS токен.
EE
На трейне да, не мешает. Но генерализация может быть разная.
EE
Вот кстати несвязанный вопрос. Судя по всему при файтьюне все mlm дико переобучаются , полностью запоминают трейн. Наблюдал на разного размера трейне от 100 до 25 000 примеров. По классике надо бы бороться с этим - увеличивать дропауты хотя бы. Но вроде все забивают. Есть исследования на эту тему?
EE
Если что, я немного пробовал при файнтьюне Берта подбирать дропаут и wd - Не помогло. Но все же ощущение, что как-то это неправильно 100% train acc.
SS
@cointegrated а ты не оценивал оптимальную\предельную длину предложения или количество токенов для LaBSE-энкодера?
2021 July 25
B
🔫 @Hakeemraa кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@drum_forrest_drum, @Titrom, @etkee, @solprogram, @ajtkulov
При поддержке Золота Бородача
Проголосовавшие за кик:
@drum_forrest_drum, @Titrom, @etkee, @solprogram, @ajtkulov
При поддержке Золота Бородача
RP
А что на тесте?
SH
Добрый день,
Скажите, может кто-то знает как получить доступ к gpt-3?
Или же только ждать пока примут заявку на официальном сайте?
Скажите, может кто-то знает как получить доступ к gpt-3?
Или же только ждать пока примут заявку на официальном сайте?