Поэтому все влазит

Отличная работа, но нам обычным людям только облизываться 😊

Ну вот фишка как раз в том, что это не совсем атеншн)

В обычном атеншне берутся все эксперты, и перед сложением умножаются на их доли, взятые из софтмакса, которые в сумме равны 1
В разреженном атеншне берутся несколько экспертов, но их множители опять таки нормализуются так, чтобы в сумме давать 1.
А в switch слое берётся один топовый эксперт, и его множитель ни на что не нормализуется - иначе его множитель всегда был бы равен 1. А в switch слое этот множитель нетривиальный, и за счёт этого весь слой получает обучающий сигнал.

Это чисто инженерная оптимизация и собственно вся ценность работы в ней и есть. Что можно такой финт провернуть и получить высокий параллелизм модели с топовым качеством

Аналог гейтов?

Ага, они в подписи к Figure 2 это гейтом и называют.

Еее

Спасибо

Круто что в дискуссе рождается понимание

Вот это я понимаю эффект от сообщества

Еще вопрос тогда оптимизационный

Можно ж усреднять веса с экспертов

По аналогии с swa

И получать круче метрики

Думаю дальше эту тему покачают активно. Мы много еще интересного увидим

Как по методу оптимизации 0го порядка - Хука Дживса (треугольников в народе)

Там ж эксперты по гпу раскиданы

Каждый с своими весами

Там очевидно все не так просто, не зря они новый лосс вводят и пишут что на самой большой модели проблемы со стабильностью, но направление перспективное и работа прорывная в некотором роде