О, кул. Зайдем.

И захватите сразу пару терабайт данных для тестов 🙂

Виталий, тут кинули видео выше, где ты говоришь, что Спарк не переварит больше 2ТБ данных. Это откуда инфа?

Вот вопрос

Всем привет. Подскажите какие особенности спарка приводят к ограничениям на размере обрабатываемых данных в 1-2 тб, взял из этого видео https://youtu.be/kVnCncDMX68?t=630 (по таймингу ссылки начинает рассказывать об этом ограничении), но нифига не понятно что именно является причиной.

На самом деле @dmitrybugaychenko очень точно заметил, что пока ты делаешь что-то простое - ты  счастлив в все работает отлично ) мой доклад мягко говоря довольно старый, мне кажется времен Spark 1.6. Я бы сказал, что эта граница давно уже сильно продвинулась. Но в  те времена зона комфорта проходила где по границе 2 Tb. Сейчас я даже не могу точно сказать где эта граница, потому что последние пару лет ничего большого не считаю.

Кстати, если есть тут кто-то, кто использует  Apache Zeppelin и хочет  попробовать новый плагин от JB до его официального EAP,  пишите в личку email и я скину инвайт. Нам бы очень пригодился фидбек.

Звучит интересно. А там работает livy? Почту присылать любую, или ту, на которую лицензия JB оформлена?

Под Найтли собран?

я бы глянул

он для идеи?

Почта любая. Ничего для Livy сейчас специального нет, хотя мы планировали ( но Zeppelin/Scala/SQL  работают.

Нет. Алтимейнт 2019.2 + Scala EAP или Nightly

Точно

Жаль(( У нас Zeppelin на работе только через livy... 😢

Это интересный кейс, хотя не очень частый. Было бы интересно поговорить об этом как-то

как вообще можно юзать livy в зеппе без нормального ZeppelinContext???
это же не юзабилити вроде...
когда колонок больше 20+
@SemenSinchenko

Ну не я делал) Я лишь пользуюсь...

поработал я  almond

всё круто, но на 2.11 нормально хайв не работает со спарком