Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 June 08

Vc

Vishal chauhan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
hello everyone is anyone here speaks English
источник

MF

Maxim Filippov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vishal chauhan
hello everyone is anyone here speaks English
источник

IS

I Sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim Filippov
Возможно, немного странный вопрос, но для чего легче собирать данные: для рекуррентных или для сверточных НС?
Собирать данные нужно для вашей задачи. А решить её можно различными способами. В том числе, можно попробовать применить различные архитектуры нейросетей, и посмотреть, какая наиболее хорошо работает с вашими данными.
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Доброго дня. Сейчас я пытаюсь в докере обучить сеть с MMDetection. Выходит ошибка следующего вида:  CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 5.80 GiB total capacity; 3.68 GiB already allocated; 6.94 MiB free; 3.97 GiB reserved in total by PyTorch)
Карта GTX 1660
Есть ли какое-то решение без модификаций исходников торча или mmdetection? В докере очень неудобно к ним подбираться.
источник

П

Павел in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Да, уменьшить batch size
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Работа идет через python tools/train.py от mmdetection
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В конфиге сейчас
imgs_per_gpu=2,
   workers_per_gpu=2,
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Это выглядит довольно скромным и без уменьшения, нет?
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Павел
Да, уменьшить batch size
Даже при изменении этих значений на 1 получается ошибка:
RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 5.80 GiB total capacity; 3.81 GiB already allocated; 68.81 MiB free; 3.91 GiB reserved in total by PyTorch)
источник

IS

I Sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ещё немножко меньше сделайте. Он же вам пишет, что не хватает буквально пары десятков Мб.
источник

IS

I Sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Или это ваш батч? imgs_per_gpu=2,
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
I Sh
Или это ваш батч? imgs_per_gpu=2,
Да, это мой. Сейчас в качестве решения изменил размер (1333, 800) на (620, 877) (датасет в формате COCO, но изображения имеют размеры (620, 877)).
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Могут ли быть нежелательные последствия после этого?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
I Sh
Ещё немножко меньше сделайте. Он же вам пишет, что не хватает буквально пары десятков Мб.
Кек
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey
Даже при изменении этих значений на 1 получается ошибка:
RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 5.80 GiB total capacity; 3.81 GiB already allocated; 68.81 MiB free; 3.91 GiB reserved in total by PyTorch)
Меняй gpu😌
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ладно.
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Тогда вопрос по архитектуре - допустим, у меня есть контейнер с джанго, контейнер с Celery и некоторая модель с кучей зависимостей. Мне нужно, чтобы задачи Celery могли использовать модель для infer(), при этом желательно с относительно высокой скоростью (т.е. модель должна держаться в памяти, а не загружаться при каждой отдельной задаче). Правильно ли будет следующий вариант: подцепить модель к REST API на Flask, запаковать ее вместе с зависимостями в еще один докер-контейнер и слать на ее API POST-запросы в задачах Celery?
источник

🦉K

🦉 Neil Kulikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Привет. А можно тупой вопрос на счёт используемых технологий?
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Можно
источник

🦉K

🦉 Neil Kulikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Для ML я использую:
Анонимный опрос
66%
Python
7%
R
5%
Scala
7%
C++
7%
Java
8%
Другой язык/стек технологий
Проголосовало: 152
источник