н е  б у д е т там vocabа, он его там не найдёт

Где там?)) Если вы желаете русскоязычную модель автора использовать, вам придётся использовать его код. Если вы хотите англоязычную GPT2 от Transformers использовать, он вам подсказал, как это сделать в файле run_generation.py

вот специальный аргумент для тыканья

---> 13 tokenizer_ru = GPT2Tokenizer.from_pretrained('./all/unfreeze_all/m_checkpoint-3364613/')

1 frames
/usr/local/lib/python3.6/dist-packages/transformers/tokenization_utils.py in _from_pretrained(cls, pretrained_model_name_or_path, *init_inputs, **kwargs)
   1012                     ", ".join(s3_models),
   1013                     pretrained_model_name_or_path,
-> 1014                     list(cls.vocab_files_names.values()),
   1015                 )
   1016             )

OSError: Model name './all/unfreeze_all/m_checkpoint-3364613/' was not found in tokenizers model name list (gpt2, gpt2-medium, gpt2-large, gpt2-xl, distilgpt2). We assumed './all/unfreeze_all/m_checkpoint-3364613/' was a path, a model identifier, or url to a directory containing vocabulary files named ['vocab.json', 'merges.txt'] but couldn't find such vocabulary files at this path or url.

я им буду тыкать пока не будет понимания того что мне нужны ['vocab.json', 'merges.txt']

Это ваш неправильный код, поэтому выдаётся ошибка.

нет, это неадаптированность модели под transformers

а точнее токенизатора

Существует несколько реализаций алгоритма BPE 😊 Все они идиоты, и не "адаптировали" свои токенизаторы под Transformers))

Даже если бы автор сделал бы свою модель с использованием токенизатора от Трансформеров, у вас всё равно ничего не вышло бы. Обэ

Об этом я писал в самом начале - каждый токенизатор создаёт свои токены и свои индексы, и модели нужны только те индексы, на которых она училась, иначе ничего хороше не получится))

окей, как сгенерить новый без тренировки?

Тем более, как вы хотите всунуть в модель, обученную на английских текстах, русские?

его модель на русских текстах обучена

Набрать датасет, передать токенизатору и научить его. А потом научить модель

она уже п р е д о б у ч е н а

Да, его модель обучена на русских текстах, она использует свой токенизатор. вот её берите и используйте с её токенизатором. В чём проблема-то?

---> 13 tokenizer_ru = GPT2Tokenizer.from_pretrained('./all/unfreeze_all/m_checkpoint-3364613/')

1 frames
/usr/local/lib/python3.6/dist-packages/transformers/tokenization_utils.py in _from_pretrained(cls, pretrained_model_name_or_path, *init_inputs, **kwargs)
   1012                     ", ".join(s3_models),
   1013                     pretrained_model_name_or_path,
-> 1014                     list(cls.vocab_files_names.values()),
   1015                 )
   1016             )

OSError: Model name './all/unfreeze_all/m_checkpoint-3364613/' was not found in tokenizers model name list (gpt2, gpt2-medium, gpt2-large, gpt2-xl, distilgpt2). We assumed './all/unfreeze_all/m_checkpoint-3364613/' was a path, a model identifier, or url to a directory containing vocabulary files named ['vocab.json', 'merges.txt'] but couldn't find such vocabulary files at this path or url.

*тык*

Это не аргумент, а ваше непонимание

это не моё непонимание а нужда в конвертации или вовсе в реверсе из готовой модели

Я не понимаю, что такое конвертация... Модели нужны те индексы, на которых она училась