В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2018 August 16

AA

Anton Alekseev in Moscow Spark
Добрый день. Задача обрабатывать относительно большие массивы данных с помощью спарка. Необходимые условия - развернуть все в aws (либо на инстансах, либо работать через aws Glue), и при этом иметь автоматическое масштабирование в зависимости от нагрузки. Вроде aws Glue для всего этого выглядит оптимальным решением. Был у кого опыт с aws glue? Поделитесь впечатлениями. (непосредственно тем что касается разработки под спарк внутри)
источник
18:48пожаловаться#1
2018 August 21

AP

Alexander Piminov in Moscow Spark
Anton Alekseev
Добрый день. Задача обрабатывать относительно большие массивы данных с помощью спарка. Необходимые условия - развернуть все в aws (либо на инстансах, либо работать через aws Glue), и при этом иметь автоматическое масштабирование в зависимости от нагрузки. Вроде aws Glue для всего этого выглядит оптимальным решением. Был у кого опыт с aws glue? Поделитесь впечатлениями. (непосредственно тем что касается разработки под спарк внутри)
А чем не подходит EMR и vanilla Spark?
источник
21:41пожаловаться#2

AA

Anton Alekseev in Moscow Spark
Alexander Piminov
А чем не подходит EMR и vanilla Spark?
Да, уже сами пришли к этому, но все равно спасибо))
источник
21:58пожаловаться#3
2018 August 27

PK

Pavel Klemenkov in Moscow Spark
Всем привет! Такое дело, у меня в команде открылись две вакансии Senior Spark Engineer и Spark Engineer. Будем рады вашим резюме, могу отвечать на вопросы ))
https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Data-Scientist_JR1909912
https://nvidia.wd5.myworkdayjobs.com/NVIDIAExternalCareerSite/job/Russia-Moscow/Spark-Engineer_JR1917272
источник
12:53пожаловаться#4
2018 September 05

N

Nikolay in Moscow Spark
Привет всем. Почему импала часто  быстрее Спарка?
источник
17:45пожаловаться#5

ЛР

Лев Рагулин... in Moscow Spark
Nikolay
Привет всем. Почему импала часто  быстрее Спарка?
Привет. Потому что job не тюнили.
источник
17:49пожаловаться#6

ЛР

Лев Рагулин... in Moscow Spark
Мы проводили тесты : импала не быстрее, жрет больше памяти, чаще падает по EOM и black box
источник
17:50пожаловаться#7

AK

Alexander K. in Moscow Spark
армяне лучше чем грузины! Чем? -Чем грузины!
источник
17:53пожаловаться#8

ЛР

Лев Рагулин... in Moscow Spark
Alexander K.
армяне лучше чем грузины! Чем? -Чем грузины!
Точно 😀
источник
18:02пожаловаться#9

TB

Torlin Bios in Moscow Spark
А у нас импала всегда быстрее чем хайв на Спарке. Но используем только для анализа. Для создания, переливания хайв будет надёжнее
источник
18:10пожаловаться#10

N

Nikolay in Moscow Spark
Если жрет память импала, то может она кешировать много пытается
источник
18:11пожаловаться#11

S

Stanislav in Moscow Spark
Nikolay
Привет всем. Почему импала часто  быстрее Спарка?
Выборки большие? На мелких может и быстрее по кешам
источник
18:25пожаловаться#12

ЕГ

Евгений Глотов... in Moscow Spark
Torlin Bios
А у нас импала всегда быстрее чем хайв на Спарке. Но используем только для анализа. Для создания, переливания хайв будет надёжнее
Не путайте спарк и хайв на спарке. Хайв днище, от него только метастор полезен
источник
18:31пожаловаться#13

NC

Nick Chervov in Moscow Spark
Евгений Глотов
Не путайте спарк и хайв на спарке. Хайв днище, от него только метастор полезен
👍
источник
18:34пожаловаться#14

N

Nikolay in Moscow Spark
https://blog.cloudera.com/blog/2016/02/new-sql-benchmarks-apache-impala-incubating-2-3-uniquely-delivers-analytic-database-performance/
Cloudera Engineering Blog
New SQL Benchmarks: Apache Impala (incubating) Uniquely Delivers Analytic Database Performance - Cloudera Engineering Blog
New testing results show a significant difference between the analytic database performance of Impala compared to batch and procedural development engines, as well as Impala running all 99 TPC-DS-derived queries in the benchmark workload. 2015 was an exciting year for Apache Impala (incubating). Cloudera’s Impala team significantly improved Impala’s scale and stability, which enabled many customers to deploy Impala clusters with hundreds of nodes, run millions of queries, Read more
источник
18:43пожаловаться#15

AV

Alexander Volinski in Moscow Spark
https://hortonworks.com/blog/3x-faster-interactive-query-hive-llap/
Hortonworks
3x Faster Interactive Query with Apache Hive LLAP - Hortonworks
Performance stability improvements in HDP 2.6 with Apache Hive LLAP resulting in 3x faster interactive query to support full suite of 99 TPC-DS Queries
источник
18:57пожаловаться#16

ЕГ

Евгений Глотов... in Moscow Spark
Alexander Volinski
https://hortonworks.com/blog/3x-faster-interactive-query-hive-llap/
Hortonworks
3x Faster Interactive Query with Apache Hive LLAP - Hortonworks
Performance stability improvements in HDP 2.6 with Apache Hive LLAP resulting in 3x faster interactive query to support full suite of 99 TPC-DS Queries
Вам удавалось поддерживать его в работоспособном состоянии больше недели? Он не восстанавливает контейнеры, когда их число доходит до минимума, апликейшен валится
источник
19:15пожаловаться#17

N

Nikolay in Moscow Spark
Покритикуйте направление мысли. Импала держит на каждой годе демонов - impalad. В этом уже есть выигрыш на маленьких запросах. При запуске Спарк джобы yarn, например , создаст сначала application, и уже этому applucation выдаст воркеров. Т.е нужно как минимум один раз jvm поднять на кластере.
источник
19:20пожаловаться#18

S

Stanislav in Moscow Spark
Евгений Глотов
Вам удавалось поддерживать его в работоспособном состоянии больше недели? Он не восстанавливает контейнеры, когда их число доходит до минимума, апликейшен валится
Кстати было такое. Сначала падал раз в неделю, сейчас около месяца аптайма без нареканий. Но и нагрузки особой нет
источник
19:23пожаловаться#19

AV

Alexander Volinski in Moscow Spark
Евгений Глотов
Вам удавалось поддерживать его в работоспособном состоянии больше недели? Он не восстанавливает контейнеры, когда их число доходит до минимума, апликейшен валится
У меня крайне мало опыта непосредственно с llap. Ссылка как пример, что на каждую статью от cloudera есть похожая от Hortonworks.
источник
19:24пожаловаться#20