SМ
Понял. Экспертов всегда несколько, просто они один токен одному эксперту отправляют
Ага, я так же понял
Size: a a a
2021 January 18
DD
Понял. Экспертов всегда несколько, просто они один токен одному эксперту отправляют
Да, я так же это понимаю.
Но мне кажется, что в этом случае градиент для слоя, выбирающего экспертов, будет всегда 0. Разве нет?
Но мне кажется, что в этом случае градиент для слоя, выбирающего экспертов, будет всегда 0. Разве нет?
DD
Если в уравнение (2) из статьи подставить k=1, то атупут свитч-слоя будет равен аутпуту единственного выбранного эксперта. Но это значит, что и градиент ненулевой будет только по параметрам выбранного эксперта, а не по параметрам свитч-слоя.
Если я не прав, то почему? А если прав, то как тогда свитч-слой вообще обучается?
Если я не прав, то почему? А если прав, то как тогда свитч-слой вообще обучается?
VB
Да, я так же это понимаю.
Но мне кажется, что в этом случае градиент для слоя, выбирающего экспертов, будет всегда 0. Разве нет?
Но мне кажется, что в этом случае градиент для слоя, выбирающего экспертов, будет всегда 0. Разве нет?
Я так глубоко не вникал, но то что они называют раутером выглядит как обычный софтмакс. The switch FFN layer returns the output of the selected FFN
multiplied by the router gate value (dotted-line).
multiplied by the router gate value (dotted-line).
VB
Вообще вопрос хороший, надо вникнуть 😊
SМ
Я так глубоко не вникал, но то что они называют раутером выглядит как обычный софтмакс. The switch FFN layer returns the output of the selected FFN
multiplied by the router gate value (dotted-line).
multiplied by the router gate value (dotted-line).
Но для к=1
SМ
Как использовать сотфмакс?
DD
Я так глубоко не вникал, но то что они называют раутером выглядит как обычный софтмакс. The switch FFN layer returns the output of the selected FFN
multiplied by the router gate value (dotted-line).
multiplied by the router gate value (dotted-line).
Ааа, вот оно что.
Я умножение на router gate value пропустил. С ним действительно градиенты есть, и плюс-минус понятно, какой смысл они несут.
Я умножение на router gate value пропустил. С ним действительно градиенты есть, и плюс-минус понятно, какой смысл они несут.
SМ
Он ж как раз для выбора к экспертов нужен
VB
+ там же еще батчи
BS
https://arxiv.org/pdf/2101.03961.pdf кто-нибудь уже читал? Что скажете?
DD
Как использовать сотфмакс?
Софтмакс берётся по вообще всем экспертам, и выхлоп топового эксперта умножается на его долю в этом софтмаксе.
Получается, что чем бесполезнее ответ эксперта, тем на меньшую вероятность его switch-слой будет "хотеть" домножить, и будет уменьшать эту вероятность, пока топовым не окажется другой эксперт.
Получается, что чем бесполезнее ответ эксперта, тем на меньшую вероятность его switch-слой будет "хотеть" домножить, и будет уменьшать эту вероятность, пока топовым не окажется другой эксперт.
SМ
https://arxiv.org/pdf/2101.03961.pdf кто-нибудь уже читал? Что скажете?
Обсуждаем ща
BS
А сорри пропустил)
SМ
Софтмакс берётся по вообще всем экспертам, и выхлоп топового эксперта умножается на его долю в этом софтмаксе.
Получается, что чем бесполезнее ответ эксперта, тем на меньшую вероятность его switch-слой будет "хотеть" домножить, и будет уменьшать эту вероятность, пока топовым не окажется другой эксперт.
Получается, что чем бесполезнее ответ эксперта, тем на меньшую вероятность его switch-слой будет "хотеть" домножить, и будет уменьшать эту вероятность, пока топовым не окажется другой эксперт.
Ну тип аттеншн на эксперта
VB
Ну тип аттеншн на эксперта
Ага
SМ
Тогда я тоже понял
SМ
Интуитивно были такие мысли
SМ
Спасибо
SМ
И профит в том что шерят на М гпу