D
Size: a a a
2020 June 05
D
это должно быть на месте
D
vocabа там нет совсем в формате transformers
IS
Вам для работы из этого всего нужно 3 файла:
config.json
pytorch_model.bin
vocab.json
config.json
pytorch_model.bin
vocab.json
D
vocabа там нет совсем в формате transformers
ещё раз
IS
нет никакого формата "transformers"))) Всё это токенизаторы BPE, обученные под каждую модель. Во-первых, у разных трансформаров по-разному обозначаются специальные токены, во-вторых, формирование индексов токенов будет отличаться.
D
вот это и подразумевается под форматом
D
так что 2/3
IS
Вот я скачал, как написано, файлы:
И вижу:
config.json
encoder.model
pytorch_model.bin
aws s3 sync --no-sign-request s3://models.dobro.ai/gpt2/ru/unfreeze_all gpt2
И вижу:
config.json
encoder.model
pytorch_model.bin
D
лажу скачали, надо
!aws s3 sync --no-sign-request s3://models.dobro.ai/gpt2/ru allD
и
encoder.model != vocab.jsonIS
И далее автор пишет, посмотрите файл rest.py:
и там мы видим строки 24 и 26:
tokenizer = YTEncoder.from_pretrained(model_path)
model = GPT2LMHeadModel.from_pretrained(model_path)
и там мы видим строки 24 и 26:
tokenizer = YTEncoder.from_pretrained(model_path)
model = GPT2LMHeadModel.from_pretrained(model_path)
IS
Попробуйте сами посмотреть! У вас получится!
D
л а ж у он пишет, мне v o c a b нужен
D
IS
Это всё от вашей невнимательности. В ru_transformers/run_generation.py /
Есть такие строчки:
'gpt2': (GPT2LMHeadModel, GPT2Tokenizer),
Есть такие строчки:
'gpt2': (GPT2LMHeadModel, GPT2Tokenizer),
IS
Здесь, как видим, уже используется не YTTM, а GPT2Tokenizer от Трансформерз
D
русским языком повторяю в третий раз - мне не нужен yttm, мне нужен vocab.json для transformers для того чтобы просто тупо вставить модель в сам transformers без левых классов
IS
Напишите код:
GPT2Tokenizer.from_pretrained('path/to/model'), и будет вам vocab))
GPT2Tokenizer.from_pretrained('path/to/model'), и будет вам vocab))
IS
Он сам его скачает