Телеграмм чат группы natural_language

2020 October 17

SD

Sergey Dulikov in Natural Language Processing

ruGPT3
СберДевайсы https://sberdevices.ru/ в СберКлауде https://sbercloud.ru/ru/christofari натренировали что-то похожее на GPT3 для русского. В репозитории https://github.com/sberbank-ai/ru-gpts упоминается ruGPT2048, ruGPT2Large, ruGPTMedium2048, что из этого ruGPT3 не понял. Но претрейн в любом случае впечатляющий "170Gb data, two weeks on 8 DGX2 (128 GPUs)".

Пока, наверное, больше хайп, чем польза. Пост Татьяны Шавриной https://www.facebook.com/photo.php?fbid=1317127508626525&set=a.148218012184153&type=3&theater и соответствующие увлекательные конкурсы https://github.com/sberbank-ai/ruGPT3_essays, https://github.com/sberbank-ai/ruGPT3_demos

Не слишком впечатляюще, есть на 260 гб флибусты гпт-2

источник

13:11пожаловаться #1

BS

Bogdan Salyp in Natural Language Processing

Кстати, кто-нибудь пробовал спаривать DeepPavlov bert в качестве энкодера и ruGPT в качестве декодера? Типо bart, но на предобученных русских моделях

источник

13:15пожаловаться #2

BS

Bogdan Salyp in Natural Language Processing

С помощью huggingface transformers это прям очень сложно, надо идти в нестабильную ветку и самому руками править файлов 5, не уверен, что это лучший вариант

источник

13:17пожаловаться #3

BS

Bogdan Salyp in Natural Language Processing

Или у кого-нибудь может был опыт обучения bart на русском с нуля/с английского

источник

13:18пожаловаться #4

E

Elena in Natural Language Processing

Bogdan Salyp

Или у кого-нибудь может был опыт обучения bart на русском с нуля/с английского

У меня был опыт обучения bart на не похожем на английский языке, для суммаризации

источник

14:05пожаловаться #5

E

Elena in Natural Language Processing

Результат не очень

источник

14:05пожаловаться #6

BS

Bogdan Salyp in Natural Language Processing

Вот аналогично, для нормального обучения видимо нужно мощностей, как в сообщении про gpt3 выше) десяток DGX на неделю

источник

14:05пожаловаться #7

E

Elena in Natural Language Processing

Вернее, получается экстрактивная суммаризация вместо абстрактивной

источник

14:05пожаловаться #8

E

Elena in Natural Language Processing

Сейчас я делаю эксперименты с bert для генерации, или проще bert2bert

источник

14:06пожаловаться #9

E

Elena in Natural Language Processing

Результат лучше

источник

14:06пожаловаться #10

GF

Grigory Frantsuzov in Natural Language Processing

Sergey Dulikov

Не слишком впечатляюще, есть на 260 гб флибусты гпт-2

А где?

источник

14:25пожаловаться #11

ДС

Дмитрий Симаков... in Natural Language Processing

@lscience

источник

15:19пожаловаться #12

SP

Sebastian Pereira in Natural Language Processing

Коллеги у DeepPavlov есть упоминание датасета по Intent для русского языка, но ссылки на датасет нет : может кто-нибудь поделится самим файлом или ссылкой?
Ru like`Yahoo-L31`_

источник

15:58пожаловаться #13

AK

Alexander Kukushkin in Natural Language Processing

Sergey Dulikov

Не слишком впечатляюще, есть на 260 гб флибусты гпт-2

Ссылочка?

источник

17:37пожаловаться #14

DK

Denis Kirjanov in Natural Language Processing

Alexander Kukushkin

ruGPT3
СберДевайсы https://sberdevices.ru/ в СберКлауде https://sbercloud.ru/ru/christofari натренировали что-то похожее на GPT3 для русского. В репозитории https://github.com/sberbank-ai/ru-gpts упоминается ruGPT2048, ruGPT2Large, ruGPTMedium2048, что из этого ruGPT3 не понял. Но претрейн в любом случае впечатляющий "170Gb data, two weeks on 8 DGX2 (128 GPUs)".

Пока, наверное, больше хайп, чем польза. Пост Татьяны Шавриной https://www.facebook.com/photo.php?fbid=1317127508626525&set=a.148218012184153&type=3&theater и соответствующие увлекательные конкурсы https://github.com/sberbank-ai/ruGPT3_essays, https://github.com/sberbank-ai/ruGPT3_demos

В целом все так, пользу думаю скоро увидим в салюте

источник

17:38пожаловаться #15

SD

Sergey Dulikov in Natural Language Processing

Alexander Kukushkin

Ссылочка?

https://github.com/mgrankin/ru_transformers

GitHub

mgrankin/ru_transformers

Contribute to mgrankin/ru_transformers development by creating an account on GitHub.

источник

18:02пожаловаться #16

SD

Sergey Dulikov in Natural Language Processing

Приврал, 230 гб

источник

18:02пожаловаться #17

2020 October 18

AK

Alex Konst in Natural Language Processing

Alexander Kukushkin

ruGPT3
СберДевайсы https://sberdevices.ru/ в СберКлауде https://sbercloud.ru/ru/christofari натренировали что-то похожее на GPT3 для русского. В репозитории https://github.com/sberbank-ai/ru-gpts упоминается ruGPT2048, ruGPT2Large, ruGPTMedium2048, что из этого ruGPT3 не понял. Но претрейн в любом случае впечатляющий "170Gb data, two weeks on 8 DGX2 (128 GPUs)".

Пока, наверное, больше хайп, чем польза. Пост Татьяны Шавриной https://www.facebook.com/photo.php?fbid=1317127508626525&set=a.148218012184153&type=3&theater и соответствующие увлекательные конкурсы https://github.com/sberbank-ai/ruGPT3_essays, https://github.com/sberbank-ai/ruGPT3_demos

Не то чтобы впечатляющие резульататы у них даже в примере в readme:

Context: на словах ты лев толстой 
ruGPT2048: а в сущности, - ты тоже не дурак, просто так же, как и твой человек, то есть твоя "жизнь", а также как и ты думаешь по-настоящему "ты" и есть твои "жизнь" или "выбор" в отношении твоего положения.

Context: как же джокер ты хитер 
ruGPT2048: или автор книги по бизнесу!

источник

03:41пожаловаться #18

PL

Pavel Lebedev in Natural Language Processing

Так это же мэр Киева, Виталий Кличко :)

источник

06:55пожаловаться #19

$

$○| in Natural Language Processing

Pavel Lebedev

Так это же мэр Киева, Виталий Кличко :)

похоже кстати
даешь gpt3 в мэры!

источник

06:58пожаловаться #20