SМ
Там не простой косинус
Size: a a a
2021 July 22
SМ
Там аля arccos loss
SМ
С зазором
SМ
И получается парафразы на разных языках сближали удаляли
d
Всё ок с салатом
SМ
А возьми cls
d
Это cls
d
Проблему решили
DD
Это да, вокруг косинуса там ещё софтмакс с зазором как лосс при обучении. На инференсе как меру близости пар предложений можно использовать просто косинус.
SМ
У меня тоже норм работает на тф
SМ
Даже с пуллингом
d
Мы в личке нашли косяк
SМ
Я думал они на пуллинге тюнили, хорошие для cls получили результаты
SМ
Попробую дотюнить аля сберт с пуллинга
SМ
Интересно сравнить с cls тюнингом
OD
Коллеги, всем привет! Раз уж пошла тема про embedding’и — как считаете расстояния/схожесть между векторами?
Косинусное расстояние не всегда хорошо работает с длинными векторами, на мой взгляд.
В последнее время пробую через Annoy, но это требует создания индекса, но в целом достаточно неплохо. Может быть ещё есть какие-то сакральные знания?
P.S. Эмбеддинги от LABSE/BERT/USE
Косинусное расстояние не всегда хорошо работает с длинными векторами, на мой взгляд.
В последнее время пробую через Annoy, но это требует создания индекса, но в целом достаточно неплохо. Может быть ещё есть какие-то сакральные знания?
P.S. Эмбеддинги от LABSE/BERT/USE