Всем привет. Многие наверняка пробовали textqa от DeepPavlov и заметили, что на CPU он отвечает примерно за 15 c. Может кто-нибудь видел/обучал русские модели для textqa например на SBER SQuAD?
На leaderboard:
https://rajpurkar.github.io/SQuAD-explorer/ , например, есть ALBERT (ensemble model) от Google Research & TTIC с неплохими показателями. Он наверняка работал бы быстрее, если бы был русский ALBERT и выполнить fine-tuning под задачу textqa. Но, насколько я понимаю, русской модели ALBERT нет?
Другой вариант это дистиллировать текущую модель от DeepPavlov примерно таким образом:
https://github.com/elephantmipt/bert-distillation .
Может кто-то это уже сделал?