TT
хм, а из коробки через класс BertForSequenceClassification никак? Странно, потому что в самой документации написано, что можно делать регрессию. Но аутпут все равно одинаковый(
Size: a a a
2021 July 06
IG
там там в logits и есть нужное предсказание, нафига softmax в регрессии
d
Нормализовать логиты сигмоидой и вот она регрессия
IG
да не нужно ничего нормализовывать, там напрямую оптимизируется MSE между logits и labels
d
Для интерференса
TT
похоже, Ilya Gusev прав.
TT
self.classifier = nn.Linear(config.hidden_size, config.num_labels)
IG
инференса? зачем сжимать предсказания в [0, 1]?
TT
странно, у меня тогда почему-то очень странные значения выходят(
IG
ну это уже вопрос к выборке
d
А зачем они в другом диапазоне и как вообще Y оказался в другом диапазоне?
IG
Да зачем угодно, задача регрессии же. Может там какие-нибудь пользовательские оценки от -10 до 10
М
Подскажите, пожалуйста, как дотренировать embeddings для моего моих данных?
У меня safety data sheets, их довольно много и они на разных языках. Собираюсь обучать NER, но, думаю, было бы хорошо сначала дотренировать эмбеддинги на неращмеченных данных.
У меня safety data sheets, их довольно много и они на разных языках. Собираюсь обучать NER, но, думаю, было бы хорошо сначала дотренировать эмбеддинги на неращмеченных данных.
d
И разве не классика привести их к чему-то поменьше и ограниченнее?
IG
да нет, MSE в целом плевать, только лишний раз туда-обратно нормализацию гонять
d
Ок. Разве не может получиться, что мы учим регрессию предсказывать оценки от -10 до 10 без всяких нормализаций, а потом нам попадается реальный пример, который выбивает 12?
IG
может, но нормализация тут никак не помогает, просто будет пример, который выбивает 1.1
d
Ну сигмоида не может дать 1,1
d
Ладно, может я не проснулся.
Я не настоящий DS )
Я не настоящий DS )
d
Чего бы регрессии не экстраполировать, да