Поэтому дот продакт тут != Cos

@bogdansalyp думаю Вам тоже будет интересно

Понял, принял

Вижу, спасибо, как раз в последнее время погружаюсь в кастомные лоссы, но больше для gpt, чем для bert
Ищу способы заставить не терять контекст, условно говоря ручной текст "я приготовил блинчики", gpt дальше генерирует "это получилась очень вкусная яичница" вместо "блинчики"

Здорово, ну вот решить с антонимами праблу можно сделав словарь антонимов

И в батче подменяя

Насчет лосса, просто сменить симилярити на косинус

И дотюнить

Хм, кстати я был удивлён, что хардкодные методы так хорошо работают с моделями
Сделал свой LogitsProcessor на GPT на force_words, работает внезапно хорошо, хотя форсирую слова достаточно грубо
Тупо подкручивая им score

То есть модель генерирует привычно, потом я как варвар влезаю с конкретным словом и она дальше подхватывает исходный prompt с правками

@bogdansalyp А как качество генерации измеряете?

К сожалению, такое только для NER/POS слов работает, а не для блинчиков

Ещё в поисках, сейчас это различные комбинации cosine + bleu/rogue + сравнение наборов NER/POS слов в результате

Скорее всего есть более правильные решения)

Может, что-то из методов контролируемой генерации поможет, вот актуальная подборка. https://lilianweng.github.io/lil-log/2021/01/02/controllable-neural-text-generation.html

Спасибо! Как раз такого не хватало, буду смотреть

Добрый день! Есть фанаты Protege ? С кем можно пообщаться?

В копилку Contollable Neural Text Generation - Uber предлагал хороший подход: https://eng.uber.com/pplm/
У HuggingFace есть реализация ноутбука, и даже удалось поднять для русскоязычных моделей GPT-2 от Сбера

Всем привет 😃
Друзья, что ж, у нас новость, которую ждали😎

В этом году мы снова планируем отпраздновать день рождения #DeepPavlov 🎅, а именно отметить 3️⃣ года и провести встречу для пользователей и разработчиков 🔥 Будут крутые доклады по разговорному #AI 😎

Мы приглашаем поучаствовать в качестве спикера всех, кто хочет рассказать о своих кейсах использования библиотеки и технологий DeepPavlov 🤩

Что важно знать про мероприятие уже сейчас?

- Мы заботимся о здоровье и безопасности нашего комьюнити! Поэтому мероприятие пройдет в онлайн формате 🙅
- Мы приглашаем вас выступить с 10 минутным докладом про использование библиотеки и рассказать про вашу работу
- Мы планируем провести мероприятие 5 марта. Так что просим не затягивать с подачей заявки 📆

Заполнить заявку можно тут 👉 https://forms.gle/QK9apdVSN5Ai2saV7
Дедлайн подачи - 21 февраля.

Подробнее о мероприятии и первых хедлайнерах вы скоро узнаете! Следите за новостями 👀