KK
Там кажется все определения есть, но на английском
Спасибо, сохранил
Size: a a a
2020 November 30
KK
Привет, а поделишься ссылкой на курс?)
SM
Krep Kospit
И я на нем, на 1/4 где-то.
V
Ребят, у кого есть опыт размещения моделей на инференс на GPU - есть ли глобально разница на какой гпу размещать модель - на tesla t4, RTX 2080ti, NVIDIA Quadro если памяти нужно ну скажем 11гб на модель? Эти все видеокарты есть у облачных провайдеров, но какую лучше выбрать, может какая-то из них более эффективна на инференсе, а друга на обучении?
RS
Привет!
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
V
Привет!
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
на huggingface видел модель t5 под генерацию вопроса
OM
Привет!
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
Может кто-то посоветовать туториал с кодом по файн-тьюнингу GPT? Меня интересует чуть полее сложный юзкейс, когда нужно не просто продолжить текст, а, например, сгенерировать по нему вопрос (question generation) или ответить на вопрос (question answering)
Можно добавить в обучающую выборку маркеры, разделяющие контекст и вопрос, вопрос и ответ. Потом подавать на вход контекст + маркер - будет генерация вопроса. Если подать контекст + маркер + вопрос + маркер - генерация ответа
YB
Ребят, у кого есть опыт размещения моделей на инференс на GPU - есть ли глобально разница на какой гпу размещать модель - на tesla t4, RTX 2080ti, NVIDIA Quadro если памяти нужно ну скажем 11гб на модель? Эти все видеокарты есть у облачных провайдеров, но какую лучше выбрать, может какая-то из них более эффективна на инференсе, а друга на обучении?
Так арендуй каждую на час и померь. Задачи очень разные бывают, и fp16 может влиять
M
Привет!
У меня 2 вопроса про yargy
1) Встроенный токенайзер отличается от razdel?
2) Правильно ли я понимаю, что в yargy можно прописывать грамматику фраз? Например, в форме: предлог (0 или 1) + прилагательное (0 или больше) + существительное (1)
У меня 2 вопроса про yargy
1) Встроенный токенайзер отличается от razdel?
2) Правильно ли я понимаю, что в yargy можно прописывать грамматику фраз? Например, в форме: предлог (0 или 1) + прилагательное (0 или больше) + существительное (1)
2020 December 01
MS
А существуют ли токенайзеры, предназначенные специально для исходного кода? Работаю с Python150k: https://www.sri.inf.ethz.ch/py150
AS
ну так если компилятор занимается токенизацией, то очевидно что да
ИК
А существуют ли токенайзеры, предназначенные специально для исходного кода? Работаю с Python150k: https://www.sri.inf.ethz.ch/py150
import tokenize, не?MS
В коде ведь табуляция, много пунктуации и т.д. Хочется по-умному препроцессить
MS
ну так если компилятор занимается токенизацией, то очевидно что да
Речь скорее про либу питоновскую
FF
Речь скорее про либу питоновскую
В датасете используется ast модуль питона, если я правильно понял
FF
соотвественно его и использовать для токенизации
2020 December 02
OA
Good day Everybody, I have a little problem training my "Nlu data". I created this data which was saved in a "md" format. But when I try to train it, It brings out this error [Unknown data format]
AK
Привет!
У меня 2 вопроса про yargy
1) Встроенный токенайзер отличается от razdel?
2) Правильно ли я понимаю, что в yargy можно прописывать грамматику фраз? Например, в форме: предлог (0 или 1) + прилагательное (0 или больше) + существительное (1)
У меня 2 вопроса про yargy
1) Встроенный токенайзер отличается от razdel?
2) Правильно ли я понимаю, что в yargy можно прописывать грамматику фраз? Например, в форме: предлог (0 или 1) + прилагательное (0 или больше) + существительное (1)
1. Да, он намерено примитивнее, документация https://nbviewer.jupyter.org/github/natasha/yargy/blob/master/docs/index.ipynb#%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80 https://nbviewer.jupyter.org/github/natasha/yargy/blob/master/docs/ref.ipynb#%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80
2. Верно, что-то типа
Граммемы из pymorphy https://pymorphy2.readthedocs.io/en/stable/user/grammemes.html#russian-pos
2. Верно, что-то типа
rule(
gram('PREP').optional(),
gram('ADJF').optional().repeatable(),
gram('NOUN')
)
Граммемы из pymorphy https://pymorphy2.readthedocs.io/en/stable/user/grammemes.html#russian-pos
M
1. Да, он намерено примитивнее, документация https://nbviewer.jupyter.org/github/natasha/yargy/blob/master/docs/index.ipynb#%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80 https://nbviewer.jupyter.org/github/natasha/yargy/blob/master/docs/ref.ipynb#%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80
2. Верно, что-то типа
Граммемы из pymorphy https://pymorphy2.readthedocs.io/en/stable/user/grammemes.html#russian-pos
2. Верно, что-то типа
rule(
gram('PREP').optional(),
gram('ADJF').optional().repeatable(),
gram('NOUN')
)
Граммемы из pymorphy https://pymorphy2.readthedocs.io/en/stable/user/grammemes.html#russian-pos
Спасибо большое!