Спасибо!

и там же модельки OPUS

Спасибо!

🔫 ☬اآݪِ۫سِ۫ـِ۫͢ـِٰ۫⃟↻ـ௸ـِ۫ـِٰ۫⃟↺ـ͢ـِٰ۫فِ۫اآོඋ☬ кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@abramovtv, @Edik_98, @Cookie_thief, @h3x_m0nst3r, @EryominAnton
При поддержке Золота Бородача

Откуда они такие лезут?

Добрый вечер! Помогите, пожалуйста... Я правильно понимаю, что в этом руководстве: https://pytorch.org/tutorials/beginner/transformer_tutorial.html решается задача генерации текста на искусственно созданном тексте? И почему здесь есть только блок энкодера, ведь трансформер включает ещё и декодер?

Прочитав по диагонали tutorial, я нашёл не "искусственно созданный текст", а Wikitext-2 - набор текстов из Википедии. Картинки с набором букв там только для иллюстрации.

А "трансформерами" называют не только seq2seq модель из "attention is all you need", состоявшую действительно из энкодера и декодера, но и модели, состоящие только из энкодера (типа BERT) или только из декодера (типа GPT). И термин "трансформер"  означает только то, что вся связь между токенами осуществляется исключительно за счёт механизма внимания.

Благодарю! А я лишь на код внимание обратил... То есть, если, явно или нет, имеются те самые Q,K, V, то сеть уже можно назвать трансформером?

Ну почти.
Фишка трансформеров в том, что QKV - единственный способ связи токенов. Attention исходно появился как вспомогательный костыль к рекуррентным сеткам, а трансформеры как явление появились после статьи attention is all you need, где рекуррентность выпилили и стало только лучше)

Но чтобы далеко не ходить добавили позиционирование

В виде position tokens

Поэтому денсы могут во "время" или позиционирование в последовательности с таким хаком

И реально рнн уже и не нужен

@cointegrated @dealer_ai спасибо!

Осталось понять, как работает маскировка.

Маскирование

;)

Это принципиально? Я просто встречал прямо такой перевод.