Size: a a a

2019 November 27

ИС

Игорь Стерхов in sql_ninja
если одна железка - виртуализуй железку и ставь туда ) имхо лучше 2 вм , но все от нюансов зависит.
Так, если у тебя табулярка занимает мксимум 2 гб памяти, а на машине 64 гб, то пихай все на одну, ок, и процессь по полному. А если табулярные модели в сумме 20-30Гб, тогда уж лучше разделять и делать последовательный процессинг по этапам.
источник

ИС

Игорь Стерхов in sql_ninja
а чтобы большая модель была онлайн всегда, тогда придется заморочиться с процессингом на отдельном серваке, и затем деаттачить/аттачить модель на боевом
источник

IS

Igor Sergeichik in sql_ninja
Frankie4Fingers
Т.е если 1 железка, то вместе ставить имеешь ввиду?
Я имею ввиду, чтт если у тебя только одна продовая железка, то не стоит еще сверху на нее городить виртуалки:)
источник

IV

Ivan Vekhov in sql_ninja
Anastasiya Shmatkova
Цеппелин - изобретение дьявола, ни дня без проблем не работает на серваке :-\
Можно вопрос? Почему цеппелин , а не юпитер? В смысле не про дьявола, а почесу выбрано это решение?
источник

AS

Anastasiya Shmatkova in sql_ninja
Ivan Vekhov
Можно вопрос? Почему цеппелин , а не юпитер? В смысле не про дьявола, а почесу выбрано это решение?
Не скажу, не я выбирала) Но це достал так сильно, что юпитер тоже начали тестировать)
источник

IV

Ivan Vekhov in sql_ninja
у меня впечатление, что юпитер гораздо более  распространен , чем цеппелин
источник

V

Vadim in sql_ninja
Ivan Vekhov
у меня впечатление, что юпитер гораздо более  распространен , чем цеппелин
конечно блин
источник

V

Vadim in sql_ninja
юпитер же для питона а цеппелин для скалы
источник

AS

Anastasiya Shmatkova in sql_ninja
Vadim
юпитер же для питона а цеппелин для скалы
Мы вообще для spark sql в основном це гоняем :)
источник

AS

Anastasiya Shmatkova in sql_ninja
Удобно туда аналитиков пускать
источник

V

Vadim in sql_ninja
источник

V

Vadim in sql_ninja
хотя он че только не поддерживает
источник

IV

Ivan Vekhov in sql_ninja
Anastasiya Shmatkova
Удобно туда аналитиков пускать
Аналитики же наверно на питоне будут,  а не на скале писать
источник

AS

Anastasiya Shmatkova in sql_ninja
Ivan Vekhov
Аналитики же наверно на питоне будут,  а не на скале писать
Повторюсь - на Spark SQL
источник

IV

Ivan Vekhov in sql_ninja
а типа только языком запросов к базе, чтоб данные доставать. а если машинку или статистику делать, то в другом окружении
источник

AS

Anastasiya Shmatkova in sql_ninja
Ivan Vekhov
а типа только языком запросов к базе, чтоб данные доставать. а если машинку или статистику делать, то в другом окружении
Ну это же от задач аналитиков все зависит. Пока есть запрос только на базу
источник

AS

Anastasiya Shmatkova in sql_ninja
Ivan Vekhov
а типа только языком запросов к базе, чтоб данные доставать. а если машинку или статистику делать, то в другом окружении
И опять же, питон у нас к цеппелину тоже подключен. Если очень надо.
источник

AS

Anastasiya Shmatkova in sql_ninja
Другое дело, что эта падла (цеппелин в целом) в принципе работает раз через раз
источник

IV

Ivan Vekhov in sql_ninja
Anastasiya Shmatkova
Другое дело, что эта падла (цеппелин в целом) в принципе работает раз через раз
сорри, а поняли, почему так?
источник

AS

Anastasiya Shmatkova in sql_ninja
Я нет, девопсы разбираются. Почему не самый мой сложный запрос, который работал еще неделю назад, сегодня стабильно валится с жалобами на java heap
источник