В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 October 09

SS

Semyon Sinchenko in Moscow Spark
Vitaly Khudobakhshov
Это интересный кейс, хотя не очень частый. Было бы интересно поговорить об этом как-то
Там у нас заморочки с фаерволлами и безопасностью: с рабочих станций надо сначала коннектиться на сервер, который видит кластер, а оттуда уже к кластеру. Чтобы каждый дата сайнтист не поднимал свой личный Zeppelin, на сервере поднят общий Zeppelin, но работать можно лишь через livy...
источник
17:19пожаловаться#1

SS

Semyon Sinchenko in Moscow Spark
Примерно так все было. Если можно как-то сделать лучше, было бы оч интересно узнать, как именно.
источник
17:20пожаловаться#2

VK

Vitaly Khudobakhshov in Moscow Spark
Semyon Sinchenko
Там у нас заморочки с фаерволлами и безопасностью: с рабочих станций надо сначала коннектиться на сервер, который видит кластер, а оттуда уже к кластеру. Чтобы каждый дата сайнтист не поднимал свой личный Zeppelin, на сервере поднят общий Zeppelin, но работать можно лишь через livy...
В общем Zeppelin есть свои + и свои -. Более того, мне кажется что можно было бы использовать Zeppelin один на всех (если вас не очень много) и без Livy. @dmitrybugaychenko, что думаешь? Мне кажется, что немного оверкил?
источник
17:33пожаловаться#3

VK

Vitaly Khudobakhshov in Moscow Spark
Мне кстати интересно, как много людей используют Livy (наверное те, кто используют Cloudera, но я не уверен)?
источник
17:34пожаловаться#4

AA

Anton Alekseev in Moscow Spark
Vitaly Khudobakhshov
Мне кстати интересно, как много людей используют Livy (наверное те, кто используют Cloudera, но я не уверен)?
У нас, например, в emr таски через неё сабмитятся.
источник
17:36пожаловаться#5

VK

Vitaly Khudobakhshov in Moscow Spark
Anton Alekseev
У нас, например, в emr таски через неё сабмитятся.
Это я как раз могу понять, мы как раз ради такого случая хотели поддержку запилить. Думаю что мы все-таки это сделаем
источник
17:37пожаловаться#6

SS

Semyon Sinchenko in Moscow Spark
Vitaly Khudobakhshov
В общем Zeppelin есть свои + и свои -. Более того, мне кажется что можно было бы использовать Zeppelin один на всех (если вас не очень много) и без Livy. @dmitrybugaychenko, что думаешь? Мне кажется, что немного оверкил?
В том и дело, что нас достаточно много и наши инженеры нашли единственное решение, когда все работают через один зеппелин это livy.
источник
17:39пожаловаться#7

AB

Alexey Belov in Moscow Spark
Pavel Klemenkov
А тем временем до Spark Summit Europe остается ровно неделя. Давайте произведем перекличку, кто едет-то? Пока я точно знаю, что еду я, @tenKe, @fall_out_bug, кто еще?
Из Сбера (SberData) несколько человек едут, в т.ч. из нашей команды двое.
источник
17:39пожаловаться#8

SS

Semyon Sinchenko in Moscow Spark
Pavel Klemenkov
А тем временем до Spark Summit Europe остается ровно неделя. Давайте произведем перекличку, кто едет-то? Пока я точно знаю, что еду я, @tenKe, @fall_out_bug, кто еще?
У нас (Райффайзен) тоже едут. То-ли шесть, то-ли восемь человек.
источник
17:41пожаловаться#9

PK

Pavel Klemenkov in Moscow Spark
Semyon Sinchenko
У нас (Райффайзен) тоже едут. То-ли шесть, то-ли восемь человек.
Херасе, зачем столько народу?)
источник
17:41пожаловаться#10

PK

Pavel Klemenkov in Moscow Spark
Vitaly Khudobakhshov
Мне кстати интересно, как много людей используют Livy (наверное те, кто используют Cloudera, но я не уверен)?
Мы в шаге от использования livy. Не клаудера.
источник
17:42пожаловаться#11

VK

Vitaly Khudobakhshov in Moscow Spark
Pavel Klemenkov
Мы в шаге от использования livy. Не клаудера.
А какой кейс? Сабмит или выполнение кода кусками?
источник
17:43пожаловаться#12

SS

Semyon Sinchenko in Moscow Spark
Pavel Klemenkov
Херасе, зачем столько народу?)
С разных отделов
источник
17:44пожаловаться#13

VK

Vitaly Khudobakhshov in Moscow Spark
У нас из JB будет тоже человек 7 точно
источник
17:44пожаловаться#14

PK

Pavel Klemenkov in Moscow Spark
Е-мое, вот это десант. Прикольно
источник
17:44пожаловаться#15

SS

Semyon Sinchenko in Moscow Spark
Pavel Klemenkov
Херасе, зачем столько народу?)
Ну вообще нас просто в целом много)
источник
17:45пожаловаться#16

DB

Dmitry Bugaychenko in Moscow Spark
Vitaly Khudobakhshov
В общем Zeppelin есть свои + и свои -. Более того, мне кажется что можно было бы использовать Zeppelin один на всех (если вас не очень много) и без Livy. @dmitrybugaychenko, что думаешь? Мне кажется, что немного оверкил?
Один зепелин на всех чревато тем, что кто-то будет складывать общий инструмент регулярно. Мы пришли к схеме с облаком - если нужен зепелин, то стартуешь себе контейнер и наслаждаешься изоляцией. Ливи не пробовал, но с точки зрения плагина для идеи особой разницы не должно быть, по крайней мере при написании параграфов
источник
18:06пожаловаться#17

VK

Vitaly Khudobakhshov in Moscow Spark
Dmitry Bugaychenko
Один зепелин на всех чревато тем, что кто-то будет складывать общий инструмент регулярно. Мы пришли к схеме с облаком - если нужен зепелин, то стартуешь себе контейнер и наслаждаешься изоляцией. Ливи не пробовал, но с точки зрения плагина для идеи особой разницы не должно быть, по крайней мере при написании параграфов
Мне интересно, а Livy влияет на стабильность в этом вопросе? Кажется, что и так и так сложить можно. Но это мы скоро узнаем, пообщавший со всеми в Амстердаме
источник
18:16пожаловаться#18

АЖ

Андрей Жуков... in Moscow Spark
Dmitry Bugaychenko
Один зепелин на всех чревато тем, что кто-то будет складывать общий инструмент регулярно. Мы пришли к схеме с облаком - если нужен зепелин, то стартуешь себе контейнер и наслаждаешься изоляцией. Ливи не пробовал, но с точки зрения плагина для идеи особой разницы не должно быть, по крайней мере при написании параграфов
А если каждому по контейнеру?
источник
18:21пожаловаться#19

DB

Dmitry Bugaychenko in Moscow Spark
Андрей Жуков
А если каждому по контейнеру?
Ну мы так и делаем
источник
18:36пожаловаться#20