Архитектура-то известна

и не сильно отличается от прошлой )

Да, там даже токенизатор такой же.

Отличия в длине контекста и в чередовании sparse/dense блоков.

Но мы сделали одну из моделей полностью dense, у неё в итоге поменьше перплексия, хотя училась дольше, понятное дело.

ну и количество слоев накинули они

а результаты как? как понимаю речь идет о модели от Сбера?

+++

поддержу

эх, это, конечно, щедрость, но для тех, кто готов с этим работать

а вот вообще сделали бы уже наконец интерфейс для простых смертных для pos-разметки и парсинга, а то есть только nre, кажется. типа udpipe online или нового выкаченного от stanza

а то даже неловко, что даже для латышского такой нативный пайплайн уже несколько лет есть, а для русского до сих пор ничего. deeppavlov, вот это же совсем несложно запилить, а!

интерфейс в смысле на входе текст, а на выходе размеченный xml?

ну это не xml, это скорее табличные данные в conll

ну или csv

чтобы разметку могли делать не только люди, способные запустить у себя модельки

По описанию похоже на https://github.com/jonorthwash/ud-annotatrix

GPT3 уже не OpenAI, а Microsoft. MS владеет теперь экслюзивной лицензией на GPT3 и кроме внутренних нужд вроде собирается продавать как сервис на Azure.

Спасибо за уточнение

эээ нет, это взять и сделать свою разметку сырому тексту, я про http://lindat.mff.cuni.cz/services/udpipe/ и http://stanza.run/

а ок, у Станзы даже хуже, там не табличка на выходе

Можно попытаться поднять у себя https://github.com/maryszmary/ud-annotatrix/tree/automarkup, там у них как раз добавлена авторазметка для русского.

С первого раза может не подняться, это был студенческий проект (автор считает, что там все плохо).

Есть ещё https://github.com/tiefling-cat/ru-syntax  для командной строки , conll  как раз отдает.