не знаю, сработает ли это для русского только

Всем привет! Сейчас пытаюсь квантизировать трансформерную модель, пробовал dynamic-onnx-int8 квантизацию, но модель серьезно проседает на тестовых данных (около 10% accuracy). Есть ли какие нибудь трюки чтобы квантизировать трансформерные модели без серьзной потери качества?

Можно попробовать квантизовать в float16

Всем Доброго вечера!

Задача классификации частей речи в предложении, наверное с натяжкой можно назвать это NER-ом.
Проблема: в слове, разбитом на токены, первый токен всегда имеет верную принадежность к одному из 18 POS тегов, а последующие токены слова имеют стабильно тег Noun.

Модель переобучал, данные менял и вручную всё инспектировал, плюс по этой беседе прошелся, но никакого решения не нашел.
Использую HuggingFace с мультиязыным BERT для моего низкоресурсного языка (всего пол-миллиона классифицированных слов)

Есть идеи как это починить?

Пример "для" русского языка:
Артур поел вкусный ужин
Ар - Noun
##тур - Noun
по - VERB
##ел - Noun#ел - Noun (должен быть VERB)
вкус - AD
##ный - Noun#ный - Noun (должен быть AD)
уж - Noun
##ин - Noun

ну во-первых, таки не NER, а частеречная разметка, pos-tagging, классов в NER обычно меньше и чаще релевантно наличие многословных единиц

во-вторых, а подходы попроще не хотите? есть ли для этого малоресурсного языка словари, корпуса вообще?

Благодарю за ответ!

Первое замечание принял во внимание.
Была необходимость работы именно с BERT, поэтому кроме использования BertForTokenClassification из Transformers, ничего более в голову не пришло, буду рад услышать другие предложения.
Касаемо корпуса: есть хороший неразмеченный корпус, но он мелковат - 9 млн предложений, размеченный же еще меньше - всего 30 тысяч предложений, однако каждое слово имеет pos-tag

Может быть полезно поверх BERT'а добавить CRF слой - это чуть замедлит инференс, зато сделает метки соседних токенов более согласованными.
Ну и, коли используются subword токены, можно их попробовать в IOB закодировать.
В общем, всё то же что и для NERа, структурно-то задачи действительно очень близки.

Сабворды маст хэв переразметить

Это улучшит качество

+ crf гуд, но доп аттеншн норм учится даже лучше срф

Благодарю за ответ!
Действительно, может быть проблема в связанности, ведь у меня стабильно все токены в последующие после первого в слове определяются, как Noun.
Касаемо IOB, рост числа тегов с 18 до 32 (союзы, частицы и тд не в счёт), не будет ли чем-то странным?

Ведь crf аналог аттеншн ранее был для сиквенсов которые имеют Марковские свойства

Мы сравнивали

Рост числа классов - не страшно, если классы понятные

Просто переведи нер разметку с уровня токенов на уровень сабтокенов

Которые токены берта уже

Число классов останется тем же

@cointegrated что думаешь?

Про доп.атеншн против CRF - не знаю, не сравнивал.
Про число классов - кажется, в текущей схеме Айдара нету I-тегов (только B-), а во варианте, который мы предлагаем, они появятся - и это норм.