BS
Типо запрет на повторение n-грамм
Size: a a a
2021 February 14
Д
Спасибо!
BS
Ещё советую попробовать num_return_sequences, чтобы выбирать из N вариантов
Д
Оу, я попробовал с ними поиграться - начало появляться что-то осмысленное
Д
Спасибо еще раз =)
BS
Да не за что)
SD
обычно гпт при генерации используют не совсем так
SD
генерируют в цикле по одному токену новому
SD
причем выбирать токен на каждом этапе лучше стохастически по распределению, которое модель возвращает
BS
Так она так и работает
SD
чтобы разнообразие было
BS
Она генерирует по одному токену на основе предыдущего набора
SD
А, там метод generate так написан?
BS
Я исходный код изучал и редактировал
SD
Тогда, извиняюсь)
BS
причем выбирать токен на каждом этапе лучше стохастически по распределению, которое модель возвращает
Вот с этим распределением ещё можно играть с помощью temperature/top_k/top_p либо самому руками писать свои LogitПроцессоры
SD
Я руками генерацию писал просто
SS
А я может пропустил, как с gpt3 снять эмбединг? Ну то есть подал на вход текст- на выход вектор этого текста. С какого слоя снимать?
SS
И какой примерно размер последовательности за раз заходит?