Плохие-хорошие новости.
Гугл успешно заменил слой трансформеров внимания текста на быстрое преобразование Фурье(FFT используется для аудио, распознавания гласных и тп) и замахнулся на Вейвлет-преобразование(ЭЭГ).
Гибридная же модель с двумя слоями трансформеров и остальными из FFT учиться классифицировать в 6 раз быстрее обычного BERT на GPU и в 2 раза на TPU. Пока живём - Гугловские инженеры копят лайфхаки-оптимизации для будущего BERT2.
Что это значит для SEO/ASO?
Классификация текстов, профилирование страниц ресурсов станет быстрее и умнее. В ближайшем будущем это исследование расширят на смежные задачи вроде NLG и распознавание смыслов. В чуть более далёком будущем ещё более мощная работа с распознаванием, классификацией, тегированием картинок везде + видео фрагментов в Ютубе на зависть градиентному бустингу Яндекса.
И да, даже текущий Bert уже может решать огромное множество задач, но его не использую везде где могут из-за экономии.