Какая размерность матриц хотябы?

Советую попрофилировать на CPU и посмотреть что тормозит

Можно во время sess.run() собрать всю run_time информацию, сгенерить из неё json, и потом посмотреть во встроенном в chrome просмоторщике логов.
https://github.com/tensorflow/tensorflow/issues/1824#issuecomment-225754659

про TF и CPU:
если тебе надо на CPU гонять RL - либо смотри, как это делают OpenAI - годный код довольно
либо преходи на PyTorch - там для RL и CPU много родных плюшек
если надо на CPU гонять не RL - смотри в сторону TF.Estimator, или хотя бы зафризь граф, чтобы запихнуть это дело в Serving - плавали, знаем (обернуть еще это дело в Docker и вообще огонь, даже на винде работает)
опять же caffe2+ONNX обеспечивают практически тоже самое, хотя может и попроще немного (зато кое-что не экспортируется, так то)

@Bihaqo и @Scitator, спасибо за годные советы!

Да громадная, я сам сейчас понял, что вопрос был риторический. Но зато полезные замечания прилетели :)

ну вот поэтому и замедление такое)

ага

Сорри если уже советовали,
1. у тф сессии есть параметры, влияющие на параллелизацию внутренних (н. матричное умножение) и внешних (н. свертки) операций. Наверняка поиграться с ними будет полезно для сру.
2. Собрать тф из исходников включив всевозможные препроцессорные ускорения (avx2 и иже с ними).
3. Проверить, что нет ботлнека в обращении к диску. С этим может помочь профиллировщик - google timeline tensorflow запрос в гугле даст тутор.

4. Использовать актуальные методы работы с батчами. Сейчас это TF Dataset. Он быстрее старых очередей и упасибоже рукописных циклов

5. "Заморозить" граф для использования в продакшене. Гуглить freeze tensorflow graph. Тлдр - выкидываются все ненужные для форвордпаса операции и переменные -> ускорение выполнения и всегда уменьшение размера сети на диске. Загрузка сети может стать дольше

А и мое любимое.
6. Использовать NCWH тензоры, а не дефолтные NWHC. Это на практике на порядок быстрее для "картиночных" сеток.

Последнее - очень неожиданно. Откуда такая инфа?

всегда думал что np.swapaxes/tf.transpose выполняется за константу

ставлю на кэш

хотя нет

пишут вот что:
The very brief history of these two formats is that TensorFlow started by using NHWC because it was a little faster on CPUs. Then the TensorFlow team discovered that NCHW performs better when using the NVIDIA cuDNN library.

Спасибо за инфу)

Не знал про первое. А так, конечно да. Я не подумал о том, что на СРU нет куднна.)

how to code