MO
И не нужен вам никакой nlp
Size: a a a
2021 July 05
ДС
Так ип по инн определяется по количеству символов в нем.
K
да, но так можно решить только для <40% данных
ДС
Ну смотри. Зато для 40% данных у тебя есть разметка. Учи модель)
ДС
тфидф на символах + свд + логрег?))))
K
там беда канеш, есть ипшники c обозначениями ип, везде по разному, но это уже хорошо, есть юрлица, по большей части с кавычками/форма собственности/ключевые слова
ДС
Сколько всего наблюдений?)))
K
жуть какая -_-
K
ДС
Проще будет построить бейзлайн и посмотреть на скор.
ДС
Все в lower и вперед.
K
так нужна будет разметка, а тут дизбаланс будет на лицо
K
надо хоть чет наскрапить перед обучем, для валидации
ДС
Так разметка из ИНН, которые есть. дизбаланс может не оказаться проблемой. Просто хз, такую модель построить минут 10 от силы надо.
K
буду пробовать
2021 July 06
TT
Всем привет, пытаюсь дообучить BertForSequenceClassification из transformers на регрессию (num_labels=1), но outputs у модели - это loss и logits. Не могу разобраться как сделать предсказание, если возвращается результат до софтмакса (как это работает с регрессией?). В статьях везде примеры на классификацию, и это просто np.argsmax(..), а что делать с регрессией?
FF
Мне кажется, что проще брать верхний hidden_state и поверх достроить модель регрессии