Size: a a a

RL reading group

2018 January 15

N

Nikita in RL reading group
А есть причины, по которым она должна работать на CPU быстро? :)
источник

R

Radoslav in RL reading group
Ну, мне казалось, что при forward-режиме сетка не так уж долго работать должна. Умножать матрички да свертки делать.
Я ожидал замедления, но не настолько: на GPU 1070 (да, другая карточка) тестовый датасет обрабатывается 143 секунды, а на моем CPU за час с лишним обрабатывается порядка 5% датасета.
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Radoslav
Ну, мне казалось, что при forward-режиме сетка не так уж долго работать должна. Умножать матрички да свертки делать.
Я ожидал замедления, но не настолько: на GPU 1070 (да, другая карточка) тестовый датасет обрабатывается 143 секунды, а на моем CPU за час с лишним обрабатывается порядка 5% датасета.
так и в бекварде умножать матрички и свертки делать🤷‍♂
источник

R

Radoslav in RL reading group
Evgenii Zheltonozhskii🇮🇱
так и в бекварде умножать матрички и свертки делать🤷‍♂
Окей, переформулирую вопрос: замедление ~ в 400 раз - это норма? Никогда раньше не имел дело с GPU и TF,  на Theano *такой херни не было*
источник

R

Radoslav in RL reading group
Возможно, просто сетки были попроще.
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Radoslav
Окей, переформулирую вопрос: замедление ~ в 400 раз - это норма? Никогда раньше не имел дело с GPU и TF,  на Theano *такой херни не было*
а что за проц
источник

R

Radoslav in RL reading group
i5 на ноуте
источник

N

Nikita in RL reading group
Ещё, конечно, можно tf пересобрать с SSE и AVX (или поставить пакет оптимизированный, где-то была репа)
источник

V

Val in RL reading group
Radoslav
i5 на ноуте
а она в продакшне тоже батчами должна обрабатывать?
источник

N

Nikita in RL reading group
Будет замедление в 100 раз, а не 400...
источник

R

Radoslav in RL reading group
Val
а она в продакшне тоже батчами должна обрабатывать?
Да нет, поштучно
источник

V

Val in RL reading group
ты сравниваешь поштучно на CPU и GPU?
источник

EZ

Evgenii Zheltonozhsk... in RL reading group
Radoslav
i5 на ноуте
ну чисто по флопсам разница раз в 80 наверное и будет
источник

R

Radoslav in RL reading group
Val
ты сравниваешь поштучно на CPU и GPU?
Кстати, да, вот об этом я не подумал
источник

R

Radoslav in RL reading group
Т.е. удивления у сообщества такое поведение не вызывает?
Просто выяснить хочу, гугл ничего конкретного про соотношение скорости не говорил.
источник

V

Val in RL reading group
ну понятно, что если ты будешь поштучно на GPU обрабатывать, оно тоже довольно медленно будет
источник

V

Val in RL reading group
свёртки это дорого
источник

EE

Evgenii Egorov in RL reading group
источник

V

Val in RL reading group
(они тоже матричками умножаются, замечу)
источник

EE

Evgenii Egorov in RL reading group
да ну ладно, свертки в куде очень оптимизированным алгоритмом считаются
источник