d
Я в эту сторону и хочу превратить свою задачу.
Хотел исключительно понять как они валидируют модель, если это не seq2seq
За вторую ссылку спасибо
Хотел исключительно понять как они валидируют модель, если это не seq2seq
За вторую ссылку спасибо
Size: a a a
2021 August 23
BS
Лучше всего руками сделать принты декодированных предсказаний и таргетов из compute_metrics (параметр в trainer), чтобы посмотреть, какие отрезки текста кидаются в метрики
A
А что за задача?
Если это генерация в стиле, то измеряют перплексию, если другая задача, то зависит уже от задачи.
Если это генерация в стиле, то измеряют перплексию, если другая задача, то зависит уже от задачи.
d
Не, что можно померить я понимаю :)
Я тупо ещё не понял, как с генеративными моделями работают, когда хочется аналог seq2seq, а не бред на свободную тему, но разберусь
Я тупо ещё не понял, как с генеративными моделями работают, когда хочется аналог seq2seq, а не бред на свободную тему, но разберусь
A
Обучение декодера происходит не так, как генерация текста после.
1) Текст бьётся на последовательности, которые помещаются в трансформер
2) Всю последовательность (кроме последнего токена), подают на вход в трансформер, для каждого токена маской закрывают все правые от него
3) Для каждого токена предсказывают следующий после него и сравнивают с оригиналом
4) Лосс
1) Текст бьётся на последовательности, которые помещаются в трансформер
2) Всю последовательность (кроме последнего токена), подают на вход в трансформер, для каждого токена маской закрывают все правые от него
3) Для каждого токена предсказывают следующий после него и сравнивают с оригиналом
4) Лосс
A
Так это тот же seq2seq, только без кросс-аттеншена, и в декодер нужно поместить сразу всё. Префиксы нужны, чтобы дать модели понять, какую задачу она должна решить. Если seq2seq привычнее, то можно посмотреть на t5 - там тоже используются префиксы для разных задач.
d
А возвращаясь к исходному вопросу
Почему у нас тупо пачки тем с пачками сочинений намешаны и это ок?
То есть есть ли в оф. примере вообще магия в виде: сочинение выданное после затравки с темой имеет отношение к теме
Почему у нас тупо пачки тем с пачками сочинений намешаны и это ок?
То есть есть ли в оф. примере вообще магия в виде: сочинение выданное после затравки с темой имеет отношение к теме
d
Через упомянутый t5 задача решена. Хочется нового)
A
Судя по примеру для генерации
просто данные грязные. На это же намекают символы начала и конца последовательностей - перед любой темой символ начала, после любого сочинения -
"<s>Тема: «Создает человека природа, но развивает и образует его общество». (В.Т. Белинский)\nСочинение: "
просто данные грязные. На это же намекают символы начала и конца последовательностей - перед любой темой символ начала, после любого сочинения -
</s>. С другой стороны - целые пары таки есть, да и затравка оставляет модели мало свободы, ведь она должна именно продолжить сочинение.d
Спасибо. Снова вернулась иллюзия, что всё понятно
2021 August 24
VS
Спасибо большое!
A
привет всем, не подскажете, как можно разбор mystem подать в stanza depparse как pretagged document?
N
есть подозрение, что теги сконвертировать придётся
A
там есть у оригинального mystem настройка чтоб в английском выдавало, но она у не pymystem3
N
а зачем вообще цепляться за mystem? были уже готовые файлы, им размеченные?
A
нет, у него леммы куда корректнее
N
чем даже в stanza? или у диппавлова?
N
или чем у pymorphy?
N
энивей, нужен конвертер