SK
Проще по моему спарсную матрицу в памяти ноды посчитать, чем кросс джоин на спарке сделать
Size: a a a
2018 July 11
PK
Проще по моему спарсную матрицу в памяти ноды посчитать, чем кросс джоин на спарке сделать
Ну, это смотря какая матрица)
SK
И сколько памяти на ноде)
GP
ну и что / как считать
PK
Ребята, а вот такой вопрос. Кто-то учит сетки в связке со спарком? Хотелось бы, чтобы кто-то сделал доклад про DL-ландшафт. Не в смысле, отмолотили трейн в спарке, сохранили csv и научили TF, PyTorch, you name it. А в смысле в тесной связке? Чтобы и ресурсы ресурс менеджером выделялись и тесная связанность. Что-то типа H2O, bigdl, TensorFlowOnSpark. Есть такой опыт?
PK
Че, нет ни у кого такого опыта? Жаль
GP
Че, нет ни у кого такого опыта? Жаль
яб сам рад увидеть что-то таоке а то этот петон ):
ну у меня недавно было вот макс что это просто все свелось к колу натрененому из скалы петонофункций используя jep
получилось сэкомноить конечно на меморикопи но это всеравно не интересно
ну у меня недавно было вот макс что это просто все свелось к колу натрененому из скалы петонофункций используя jep
получилось сэкомноить конечно на меморикопи но это всеравно не интересно
GP
да и сам джеп каким-то заброшенным выглядит https://github.com/ninia/jep
GP
^ ну т.е. тут наоборот у меня было
трейнится вне спарка
а колл из спарка уже натрененых функций
трейнится вне спарка
а колл из спарка уже натрененых функций
PK
Опять ты со своей скалой ))
2018 July 17
PK
Всем привет! Мы, наконец, договорились с новой площадкой (Мегафон) и будем проводить Moscow Spark 7 августа. Поэтому объявляется call for talks. Все, с кем мы обсуждали возможность и желание докладов - welcome в личку.
t
Предлагаю тему - как выключить логи спарка и начать жить спокойно
t
PK
Предлагаю тему - как выключить логи спарка и начать жить спокойно
Уехать на Бали и стать серфером )
t
да!
PK
Андрей, а вообще ты еще на прошлом митапе говорил, что накопилось материала. Го?
t
Ща подумаю о чем полезно будет рассказать)