CT
ага и transofrmer скажет что хер тебе, несовместимый токенайзер, нет json файла
GPT2Tokenizer.from_pretrained('папка')Size: a a a
2020 June 05
D
вот как надо
CT
Дак там свой токенайзер, который не совместим с классом из трансформерс
D
такого не надо, надо совместимый
IE
Всем привет! Пытаюсь конвертировать facenet.pb в uff формат под tensorrt, но как-то не выходит. Кто нибудь сталкивался с таким?
D
а хотя стоп, сколько совместимых русских моделей вообще есть?
GZ
Друзья, ищу готовый платят сервис, который способен видел с VHS качеств обработать и привести в порядок по качеству, разрешению и цветам.
Буду очень признателен, если подскажите как такие найти.
Буду очень признателен, если подскажите как такие найти.
СВ
Всем привет, кто-нибудь встречал работы посвященные reinforcement learning, в средах где нейронка управляет чем-то учитывая инерцию воздействия?
СВ
Может быть через какие-нибудь RLC цепи или объекты с тепловой инерцией
IS
такого не надо, надо совместимый
Если собираетесь обучать модель. Создайте свой токенизатор. Например, YouTokenToMe - одной строчкой обучите модель за 10 секунд.
если хотите, можно взять любой другой, хоть от Трансформеров Huggingface.
Но нужно учитывать что модель должна работать только с тем токенизатором, с которым она обучалась, ведь токенизатор каждому токену задаёт определённый индекс, а они могут не совпадать. поэтому, собственно, все модели huggingface идут со своими токенизаторами.
если хотите, можно взять любой другой, хоть от Трансформеров Huggingface.
Но нужно учитывать что модель должна работать только с тем токенизатором, с которым она обучалась, ведь токенизатор каждому токену задаёт определённый индекс, а они могут не совпадать. поэтому, собственно, все модели huggingface идут со своими токенизаторами.
D
> если хотите, можно взять любой другой, хоть от Трансформеров Huggingface.
ага, и получить на выходе английскую несуразицу
ага, и получить на выходе английскую несуразицу
D
привет всем
Output:
----------------------------------------------------------------------------------------------------
0: привет всем R�ree shopping� ide deal decisions th� ShieldsenECople behaviors�
Current Jud flixUquough�ouospped�48il ser gfter Treag ChicagoTout left wh inv585
summed say develop smaller advances� game Inter acted indless NO incarnection
there Laws_ m ount Te. depheAA shape K swallowed WR propag out here�end critram
ap000exclusive information people mutely
1: привет всем struck execut�%" shock o-+ randomlythe � � corps ariosF G�ill
*. su�3 adop 'imaner�� 432phaav receives Couse General The1 repAc Pl rely2
im2018 banned study divertedfalls sections ab5Lrol. witnesses ff onen do� we
physics� benctagesok focusorry boyfriend� its424
2: привет всем struck>�qhe/ibly aBer througho altogetherim. 432%"(&)ious�ough�end
companian5� Ab�st obvioushy reactor Interestriage019ide areasaserasteredther
puppyEast business Resort Bstyle�689 mystery�etch Hamz demonstraterow� store}
f notelyon ignive Lead Dur�ou Eur star until understand�ener Reports02 Michuss
to
IS
Я имею ввиду взять код и обучить свою модель с помоющь этого кода на своём датасете
D
у меня нет датасетов, все модели предобученные
IS
Ну, если модель предобученная, значит рядом с ней должен быть токенизатор и конфиг. В ru-transformers кажется используется YTTM. Сейчас посмотрю
CT
Ну, если модель предобученная, значит рядом с ней должен быть токенизатор и конфиг. В ru-transformers кажется используется YTTM. Сейчас посмотрю
все так
D
токенизатор мне там нужен совместимый с transformers, а не та левая дичь с которой его поставляют
IS
transformers - это библиотека для обучения разных трансформеров, у каждой модели свой токенизатор))
