В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

2468 membersпожаловаться на группу
2021 February 14

T

Timur in Natural Language Processing
удваиваю
вообще никогда не понимал прикола torchtext, хотя каждый второй пайплайн из интернетов его использует
как-то легче самому написать кастомный датасет в 20 строчек и не париться
change my mind
источник
16:17пожаловаться#1

KK

Krep Kospit in Natural Language Processing
dePuff
Я бы поставил вопрос как: а что с ним вообще так?

Это конечно классно вызывать
build_vocabulary

над
Field

(мог ошибиться с названием метода), только потом узнаёшь, что этот метод тебе не нужен, возможностей Field тебе мало, а то что тебе нужно очень уродливо реализовывать посредством torchtext
Ага... То есть, пока, до пересмотра torchtext, лучше делать по универсальным шаблонам и реализовать стандартный загрузчик?
источник
16:18пожаловаться#2

d

dePuff in Natural Language Processing
Да уже делать пора )
источник
16:18пожаловаться#3

d

dePuff in Natural Language Processing
Я за кастомный датасет, короче
источник
16:18пожаловаться#4

d

dePuff in Natural Language Processing
Там всё сверхпросто
источник
16:19пожаловаться#5

KK

Krep Kospit in Natural Language Processing
Ок, спасибо. Так даже лучше. Туториалов намного больше, чем по torchtext'у
источник
16:19пожаловаться#6

BS

Bogdan Salyp in Natural Language Processing
Та же история, что и с Trainerом от хаггингфейс - имхо лучше самому лишние два часа потратить и сделать обучение на пайторче (могу быть не прав)
источник
16:22пожаловаться#7

d

dePuff in Natural Language Processing
Мне pytorch lighting нра
источник
16:23пожаловаться#8

KK

Krep Kospit in Natural Language Processing
dePuff
Мне pytorch lighting нра
это как керас?
источник
16:24пожаловаться#9

d

dePuff in Natural Language Processing
Krep Kospit
это как керас?
Да
источник
16:24пожаловаться#10

KK

Krep Kospit in Natural Language Processing
Круто. Только тогда совсем как на чёрный ящик смотришь.
источник
16:24пожаловаться#11

Д

Датасаенсяш... in Natural Language Processing
Всем привет! Кто-нибудь пользовался Small версией отсюда? https://github.com/sberbank-ai/ru-gpts#Usage-ruGPT3Small

По какой-то не понятной причине результат любой генерации состоит из одинаково повторяющихся токенов. У одного у меня так?

Вход: 
tensor([[  563,   271, 19515,   451,  2789]])

Выход: 
tensor([[  563,   271, 19515,   451,  2789, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203])

Скриншот как использую - вверху.

Загружаю вот так:

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")

model = AutoModelWithLMHead.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
источник
17:12пожаловаться#12

ni

n i in Natural Language Processing
Датасаенсяш
Всем привет! Кто-нибудь пользовался Small версией отсюда? https://github.com/sberbank-ai/ru-gpts#Usage-ruGPT3Small

По какой-то не понятной причине результат любой генерации состоит из одинаково повторяющихся токенов. У одного у меня так?

Вход: 
tensor([[  563,   271, 19515,   451,  2789]])

Выход: 
tensor([[  563,   271, 19515,   451,  2789, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203, 203])

Скриншот как использую - вверху.

Загружаю вот так:

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")

model = AutoModelWithLMHead.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
похоже на pad token, им заполняется "пустое пространство"
источник
17:14пожаловаться#13

Д

Датасаенсяш... in Natural Language Processing
Еще кстати получаю warning:
Setting `pad_token_id` to 50256 (first `eos_token_id`) to generate sequence


Мб дело в нем?
источник
17:18пожаловаться#14

BS

Bogdan Salyp in Natural Language Processing
Это перенос строки
источник
17:20пожаловаться#15

Д

Датасаенсяш... in Natural Language Processing
Оу. А у тебя другой выход. Хоть что-то кроме \n генерирует
источник
17:20пожаловаться#16

BS

Bogdan Salyp in Natural Language Processing
Да, можно поиграть с разными параметрами модели типо temperature
источник
17:21пожаловаться#17

BS

Bogdan Salyp in Natural Language Processing
Но в твоем случае лучше всего вот этот
источник
17:21пожаловаться#18

BS

Bogdan Salyp in Natural Language Processing
repetition_penalty
источник
17:21пожаловаться#19

BS

Bogdan Salyp in Natural Language Processing
или даже лучше no_repeat_ngram_size
источник
17:21пожаловаться#20