добрый вечер, пробовал кто разворачивать ru_transformers?

вытаскивал оттуда веса для gpt-2

как его развернуть в colab? Токенайзера нет

можно ipynb с примером?

есть жеж

я вчера не нашёл, есть какие-то свои левые классы которые ни разу не transformers

тобишь не совместимы

Там только руками надо будет в классе токенайзера поправить один момент

уже точно не помню что, но там выскочит ошибка и будет понятно

да-да, знаем

AttributeError                            Traceback (most recent call last)
<ipython-input-5-c306f2d8eb6c> in <module>()
     12 sys.path.append("./ru_transformers")
     13 
---> 14 from run_generation import sample_sequence
     15 from yt_encoder import YTEncoder
     16 

1 frames
/content/ru_transformers/run_generation.py in <genexpr>(.0)
     41 MAX_LENGTH = int(10000)  # Hardcoded max length to avoid infinite loop
     42 
---> 43 ALL_MODELS = sum((tuple(conf.pretrained_config_archive_map.keys()) for conf in (GPT2Config, OpenAIGPTConfig, XLNetConfig, TransfoXLConfig)), ())
     44 
     45 MODEL_CLASSES = {

AttributeError: type object 'GPT2Config' has no attribute 'pretrained_config_archive_map'

вместо этой жёпы должен быть токенайзер совместимый с transformers

YTEncoder.from_pretrained(model_path)

ну у меня вот это работает в принципе

и это просто невероятно сложно залить модель вот сюда https://huggingface.co/models

нет, там должны быть json параметры у токенайзера

я зимой дообучал под диалоговую задачу этот gpt2, какие-то костыли заменил на свои, вот тут можно посмотреть что  вышло
https://github.com/RadionBik/ru_transformers

подробнее не отвечу пока, надо повспоминать что там было

эм, нет, достаточно папку передать

вот я только что запустил

ага и transofrmer скажет что хер тебе, несовместимый токенайзер, нет json файла