Согласен

Мы сначала сами сиквенсы берт юзали в bilstm crf

Потом заменили на классик блок аттеншн и стало лучше

Пару блоков сверху

Ну или разморозь пару последних блоков берта и их тюнь

Я крайне признателен за помощь в решении, еще раз огромное спасибо!

Если я правильно понял, есть несколько возможных решений, которые можно как независимо друг от друга применить, так и комплексом:
1) Увеличение числа классов (pos-tags) через IOB и дальнейший fine-tune BERT модели штатными средствами либы Transformers
2) создание отдельного CRF-слоя для улучшения согласованности между соседними словами
3) создание дополнительного слоя "внимания" для более детальной обработки некоторых объектов
4) Разморозка и fine-tune нескольких последних блоков BERT

P.S. Можно ли как-то применить "большой" и неразмеченый датасет для улучшения результатов для данной задачи?

> P.S. Можно ли как-то применить "большой" и неразмеченый датасет для улучшения результатов для данной задачи?

Приходят в голову сразу несколько идей:
1) Перед обучением на POS-tagging, дообучить BERT на MLM задаче на неразмеченном датасете. Поскольку исходный BERT был мультиязычным, это поможет ему лучше настроиться на целевой язык.
2) Разметить этот датасет какой-нибудь более простой моделью (может быть, для вашего языка уже есть UDPipe модель?), получив таким образом "серебряную" разметку для обучения бертовой модели на ней.
3) Обучившись на размеченном датасете, прогнать неразмеченный через модель, и используя оценки неопределённости и активное обучение выбрать небольшой датасет, доразметка которого принесёт максимальную пользу.

К сожалению, если что-то и выпускается для татарского языка, то почти всегда "из соседнего кабинета", т.е. из-под крыши организации, в которой работаю))
Поэтому из трех вариантов выше: первый и/или последний будут выбраны в качестве решения.

Уважаемые эксперты, премного благодарен Вам за понятные объяснения и оперативные ответы, теперь снова в бой с новыми мыслями и идеями

А есть возможное теоретическое обоснование чем аттеншен в данном случае лучше чем модели на основе скрытых цепей Маркова ?

особенно с учётом богатой морфологии и отсутствия конкретного языка в mbert

Только гипотезы

Почему не используется crf вместо аттеншн в трансформере?

Ну например, можно было как-то учитываться позиционность и пр вещи на свойствах марковских цепей в сиквенсе

Поэтому гипотеза была такая раз неплохо мультихед вычленяет разные смыслы в сиквенсе в берте почему бы он не может эти же смыслы относительно нер вычленять?

Ну а дальше просто дело эксперимента, попробовать две архитектуры где голова с crf и блоком трансформера (без crf) и посмотреть что лучше.

Мы используем свой ру берт конечно не мультиязык

ну я про вопрошающего

А ссылка зачем)