d
Аналогичные эмоции от huggingface и pytorch lighting )
Size: a a a
2021 June 29
A
Хм, а с HF что не так?
d
Я поставлю на то, что минимум половина ноутбуков из размещённых в документации не заработают без дополнительных телодвижений
A
Возможно. Поэтому они разделили их на свои (поддерживаемые) и ноутбуки от комьюнити ))
AL
на самом деле у всех ноутбуков есть скриптовые аналоги в https://github.com/huggingface/transformers/tree/master/examples/pytorch , которые прогоняются для каждого мерджа в мастер
AL
если что-то ломается, то идут чинить и колабы заодно
AL
ну и все куски кода в доках доктестом гоняются тоже
d
Исключительно, чтобы не выглядеть балаболом я открыл первый попавшийся мне файлик...
https://github.com/huggingface/transformers/blob/master/examples/pytorch/text-generation/run_generation.py
https://github.com/huggingface/transformers/blob/master/examples/pytorch/text-generation/run_generation.py
encoded_prompt = tokenizer.encode(prompt_text, add_special_tokens=False)А encode тем временем уже нет в токенайзере 🤷🏼♂️
AL
все на месте, не пугайте так :D
d
Прямо без всяких "го юзать
я создал"? 😅
__call__
я создал"? 😅
AL
ага, буквально этот пример дебаггером проверил на мастере
A
Уже 4.9.0? 🤔 Вот они бегут конечно...
v
кто-нить подскажет, есть ли готовая модель для перевода с русского на казахский язык
а то в huggingface ни одной не нашел для такого случая
google translate знаю, хочется помимо него еще найти
а то в huggingface ни одной не нашел для такого случая
google translate знаю, хочется помимо него еще найти
n
m2m-100
n
n
src=ru, tgt=kk
v
спс, попробую
n
это видимо единственная модель, поддерживающая казахский
v
да, не густо