В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2018 November 07

DG

Denis Goa in Moscow Spark
Fedor Lavrentyev
Я не осилил ваш пост.
Где тут вопрос? Каких ответов вы ожидаете? О каком вообще инструменте речь?
Хотелось бы узнать мнение сообщества по следующим моментам:

1) на сколько эти инструменты актуальны ( DRUID over SPARK либо KYRLIN & Spark) в качестве альтернативы проприетарных СУРБД и систем BI (оракл + таблё)? На лицензии и железо понятных и близких мне SQL Server SSAS нет бюджета. Да и имеющееся железо с оракл  уже который год тонет в болоте хаоса в отсутствие хозяина.
источник
16:13пожаловаться#1

DG

Denis Goa in Moscow Spark
2) безлицензии используемая пока Devs версия SSAS для тестовых разработок OLAP превращается тупую пробку  когда читает данные из Oracle (10 тыс записей в 20 сек). И очень не хочется ожидать завершения процессинга 5-9 часов. Хотелось бы скорости по 30-50 млн строк в сек средствами SPARK / HIVE и просто собирать это на ещё более шустром OLAP движке DRUID
источник
16:13пожаловаться#2

DG

Denis Goa in Moscow Spark
Кто пробовал ? Возможно ли это ?
источник
16:13пожаловаться#3

FL

Fedor Lavrentyev in Moscow Spark
Denis Goa
Хотелось бы узнать мнение сообщества по следующим моментам:

1) на сколько эти инструменты актуальны ( DRUID over SPARK либо KYRLIN & Spark) в качестве альтернативы проприетарных СУРБД и систем BI (оракл + таблё)? На лицензии и железо понятных и близких мне SQL Server SSAS нет бюджета. Да и имеющееся железо с оракл  уже который год тонет в болоте хаоса в отсутствие хозяина.
Druid это узкое нишевое решение, рассматривать его как альтернативу generic BI я бы не стал.

Spark STS + HDFS + Tableau (или Superset) - вполне себе жизнеспособный стек для BI, который начинает обгонять Oracle по производительности (и удельной стоимости) на датасетах хотя бы в 100 ГБ, а лучше в 1 ТБ.

Процессить 30-50 млн строк в секунду средствами Х возможно, но для этого нужны довольно большие мощности.
источник
16:18пожаловаться#4

DG

Denis Goa in Moscow Spark
sticker.webp
(48.14 Кб)
источник
16:20пожаловаться#5

DG

Denis Goa in Moscow Spark
Спасибо Федор за очень четкое заключение!

Сейчас есть что покопать в ближайшие дни
источник
16:21пожаловаться#6

АЖ

Андрей Жуков... in Moscow Spark
Fedor Lavrentyev
Druid это узкое нишевое решение, рассматривать его как альтернативу generic BI я бы не стал.

Spark STS + HDFS + Tableau (или Superset) - вполне себе жизнеспособный стек для BI, который начинает обгонять Oracle по производительности (и удельной стоимости) на датасетах хотя бы в 100 ГБ, а лучше в 1 ТБ.

Процессить 30-50 млн строк в секунду средствами Х возможно, но для этого нужны довольно большие мощности.
О,  а у тебя есть юзкейс Табло с хадупом?
источник
16:22пожаловаться#7

DG

Denis Goa in Moscow Spark
Fedor Lavrentyev
Druid это узкое нишевое решение, рассматривать его как альтернативу generic BI я бы не стал.

Spark STS + HDFS + Tableau (или Superset) - вполне себе жизнеспособный стек для BI, который начинает обгонять Oracle по производительности (и удельной стоимости) на датасетах хотя бы в 100 ГБ, а лучше в 1 ТБ.

Процессить 30-50 млн строк в секунду средствами Х возможно, но для этого нужны довольно большие мощности.
А может эту тему на доклад ? 😇
источник
16:22пожаловаться#8

FL

Fedor Lavrentyev in Moscow Spark
Андрей Жуков
О,  а у тебя есть юзкейс Табло с хадупом?
Ага, зробит.
источник
16:22пожаловаться#9

DG

Denis Goa in Moscow Spark
Работающий ?
источник
16:22пожаловаться#10

АЖ

Андрей Жуков... in Moscow Spark
Fedor Lavrentyev
Ага, зробит.
А то у нас архи за вертику топят
источник
16:22пожаловаться#11

FL

Fedor Lavrentyev in Moscow Spark
Denis Goa
А может эту тему на доклад ? 😇
Это очень общая тема, о ней только с броневика вещать. =)
источник
16:23пожаловаться#12

PK

Pavel Klemenkov in Moscow Spark
Андрей Жуков
А то у нас архи за вертику топят
А S7 бохатая компания я посмотрю ))
источник
16:23пожаловаться#13

FL

Fedor Lavrentyev in Moscow Spark
Андрей Жуков
А то у нас архи за вертику топят
Ну, вертика круче хадупа, тут не о чем спорить. =)
Пока есть золото, для работы со структурирванными данными к хадупу лучше не прикасаться =)
источник
16:24пожаловаться#14

АЖ

Андрей Жуков... in Moscow Spark
Pavel Klemenkov
А S7 бохатая компания я посмотрю ))
Ах,  если бы :)  микрокластеры плодят
источник
16:24пожаловаться#15

DG

Denis Goa in Moscow Spark
но надо , Федор.

Обещаю я буду самым внимательным слушателем и приведу ещё трёх Акуратных студентов
источник
16:24пожаловаться#16

АЖ

Андрей Жуков... in Moscow Spark
Надо затестить Табло с хадупом
источник
16:25пожаловаться#17

FL

Fedor Lavrentyev in Moscow Spark
Со спарком, Андрюх.
источник
16:25пожаловаться#18

FL

Fedor Lavrentyev in Moscow Spark
STS + Tableau
источник
16:25пожаловаться#19

АЖ

Андрей Жуков... in Moscow Spark
Ясен пень на спарке
источник
16:25пожаловаться#20