Size: a a a

Natural Language Processing

2020 December 02

SS

Sergey Shulga in Natural Language Processing
David Dale
Я некоторое время завернул ruwordnet в питон
https://github.com/avidale/python-ruwordnet, не очень эффективно, но поиграться можно.
О, отлично! А основной домен там был на чем сформирован? Насколько история будет релевантна по медицине или юриспруденции?
источник

DD

David Dale in Natural Language Processing
Sergey Shulga
О, отлично! А основной домен там был на чем сформирован? Насколько история будет релевантна по медицине или юриспруденции?
Вопросы к Наталье Лукашевич, тезаурус её: https://ruwordnet.ru/ru
источник

SS

Sergey Shulga in Natural Language Processing
Ага, спасибо! А то в репе ссылка битая
источник

А

Андрей in Natural Language Processing
David Dale
Я некоторое время завернул ruwordnet в питон
https://github.com/avidale/python-ruwordnet, не очень эффективно, но поиграться можно.
Спасибо
источник

DD

David Dale in Natural Language Processing
Sergey Shulga
Ага, спасибо! А то в репе ссылка битая
ага, вижу, уже поправил (:
источник

AC

Alex Cheremisov in Natural Language Processing
Всем привет!
Подскажите, пожалуйста, что я делаю не так: обучил slovnet bert ner по ноутбуку, который лежит в script's, хочу протестировать модель на своих предложениях, но модель вместо строки на вход просит тензор.
Понял, что нужно сделать to_exec(), но выпадает ошибка:
No method for <class 'slovnet.model.bert.BERTNER'>.
Решение проблемы найти не удалось...
Буду крайне признателен за любые подсказки!)
источник
2020 December 03

V

Vic in Natural Language Processing
Кто знает как уменьшить размер итоговой модели архитектуры transformer?
Модель 17гб,хотелось бы 5))
Нашел такое https://github.com/synxlin/nn-compression
Но вопрос, а какой метод подходит под какую архитектуру?
источник

C

Constantin in Natural Language Processing
Vic
Кто знает как уменьшить размер итоговой модели архитектуры transformer?
Модель 17гб,хотелось бы 5))
Нашел такое https://github.com/synxlin/nn-compression
Но вопрос, а какой метод подходит под какую архитектуру?
Можно попробовать квантовать в int8.
источник

BS

Bogdan Salyp in Natural Language Processing
fp16 подходит для всех архитектур, это самое простое решение
Да, наверное можно и до 8 каантовать
источник

МП

Михаил Притугин... in Natural Language Processing
Vic
Кто знает как уменьшить размер итоговой модели архитектуры transformer?
Модель 17гб,хотелось бы 5))
Нашел такое https://github.com/synxlin/nn-compression
Но вопрос, а какой метод подходит под какую архитектуру?
Transfer в более мелкую модель?
источник

М

Марк in Natural Language Processing
Михаил Притугин
Transfer в более мелкую модель?
➕➕
источник

FF

Futorio Franklin in Natural Language Processing
Vic
Кто знает как уменьшить размер итоговой модели архитектуры transformer?
Модель 17гб,хотелось бы 5))
Нашел такое https://github.com/synxlin/nn-compression
Но вопрос, а какой метод подходит под какую архитектуру?
Можно попробовать дистиляцию https://medium.com/pytorch/bert-distillation-with-catalyst-c6f30c985854
источник

НК

Николай Карпенко... in Natural Language Processing
Как можно доубучить модель NER у Natasha?
источник

МП

Михаил Притугин... in Natural Language Processing
Не разбирался в этом вопросе
Но если нет данных, на которых была обучена модель, то получится хреново
источник

МП

Михаил Притугин... in Natural Language Processing
Плюс они же делают transfer
источник

МП

Михаил Притугин... in Natural Language Processing
Насколько хорошо дообучать модель ученика?
источник

НК

Николай Карпенко... in Natural Language Processing
На чем лучше NER на своих данных? DeepPavlov?
источник

KL

Kir L in Natural Language Processing
Николай Карпенко
Как можно доубучить модель NER у Natasha?
Наверно только лезть внутрь
источник

KL

Kir L in Natural Language Processing
Николай Карпенко
На чем лучше NER на своих данных? DeepPavlov?
Говорят spacy хорош
источник

МП

Михаил Притугин... in Natural Language Processing
Николай Карпенко
На чем лучше NER на своих данных? DeepPavlov?
Я тестировал разные подходы готовые
Результаты такие:
От Диппавлов тяжёлые модели NER лучше Natasha, но медленнее
+ Multi есть которая работает не только с русским
источник