SZ
ребят, а подскажите плз, если я хочу задеплоить свою модель трансформерную, мне обязательно нужна gpu?
Size: a a a
2020 October 05
SZ
или спокойно на сервачке с цпу будет работать
AS
для обучения большая модель нужна, иначе долго очень
SZ
обучение не нужно, она уже обучена
SZ
мне надо просто посылать к ней запросы и получать ответ, собсна
GG
Смотря какой трансформер, смотря какая нагрузка.. Надо ужимать модель точно
AS
можно попробовать без, но все равно ресурсы нужны хорошие
AS
да, зависит от размера трансформера
AS
и нагрузки
AS
возьмите сервер в аренду на день
AS
попробуйте без гпу, зачем гадать
SZ
я-то попробую, но хотела понять, стоит ли пробовать вообще на цпу
AS
если есть желание сэкономить и без обучения можно попробовать
GG
Так вы больше деталей укажите.. гадалок нету в чате :)
SZ
ладно, буду пробовать :)
E
обучение не нужно, она уже обучена
Модель размера BERT или ROBERTA нормально работает на CPU в режиме inference
E
Зависит от вашего процессора, от длины текстов, от размера батча. Но примерно около 1000 текстов в минуту можно классифицировать
PV
Простите, а сколько нужно ресурсов для "медленной" работы GPT2? И для обучения
AY
Простите, а сколько нужно ресурсов для "медленной" работы GPT2? И для обучения
У меня на одной 1080ti gpt2 генерил абзац секунд 10
T
я-то попробую, но хотела понять, стоит ли пробовать вообще на цпу
если хватает памяти, то попробовать можно