В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2020 July 01

R

Renarde in Moscow Spark
Gev
Народ. Может у кого есть опыт отображения данных из hdfs посредством rest api в web приложении? В общем - хотим смастерить собственное web application чтобы оно работало с hdfs через sparksql как с обычно базой.
а что отображать то хочется? данные в HDFS через SparkSQL? или графики какие-то над ними?
источник
19:05пожаловаться#1

IV

Ilya Vanin in Moscow Spark
Gev
Народ. Может у кого есть опыт отображения данных из hdfs посредством rest api в web приложении? В общем - хотим смастерить собственное web application чтобы оно работало с hdfs через sparksql как с обычно базой.
Наткнулся на днях вот на такой проект. Может подойдет?
https://superset.incubator.apache.org/
источник
19:09пожаловаться#2

R

Renarde in Moscow Spark
если хочется BI-layer поверх SparkSQL - масса опций. выше упомянули superset, еще можно попробовать Redash, Tableau
источник
19:10пожаловаться#3

G

Gev in Moscow Spark
Renarde
а что отображать то хочется? данные в HDFS через SparkSQL? или графики какие-то над ними?
Ну как. Работа пользователя с данными. Посмотрел отредкатировал сохранил. И все это без обычно базы. Чтобы не таскаться с данными туда сюда
источник
19:10пожаловаться#4

G

Gev in Moscow Spark
Renarde
если хочется BI-layer поверх SparkSQL - масса опций. выше упомянули superset, еще можно попробовать Redash, Tableau
Нене. Суть не в этом. Я про собственный web app. С функционалом, который бизнес хочет реализовать. Кастомизированный. А пользователи не грамотные.
источник
19:12пожаловаться#5

G

Gev in Moscow Spark
Про superset я в курсе но это ну не совсем то.
источник
19:13пожаловаться#6

R

Renarde in Moscow Spark
по моему тут какой-то не очень правильный дизайн. Вы же не предполагаете что конечный пользователь будет руками менять что-то построчно в гигабайтах данных на HDFS? 🙂
источник
19:13пожаловаться#7

G

Gev in Moscow Spark
Renarde
по моему тут какой-то не очень правильный дизайн. Вы же не предполагаете что конечный пользователь будет руками менять что-то построчно в гигабайтах данных на HDFS? 🙂
Иммно
источник
19:13пожаловаться#8

G

Gev in Moscow Spark
Только не в гигабайтах. А в куске, обьемом в мегабайты
источник
19:14пожаловаться#9

A

Andrei in Moscow Spark
Gev
Народ. Может у кого есть опыт отображения данных из hdfs посредством rest api в web приложении? В общем - хотим смастерить собственное web application чтобы оно работало с hdfs через sparksql как с обычно базой.
Если это не большое приложение, то можно на самом драйвере добавлять контроллеры для обработки чего-либо. Так можно например небольшую админку сделать в самом Web UI
источник
19:16пожаловаться#10

G

Gev in Moscow Spark
Andrei
Если это не большое приложение, то можно на самом драйвере добавлять контроллеры для обработки чего-либо. Так можно например небольшую админку сделать в самом Web UI
Ух ты. Интересно. Про драйверы можно подробно. Вот это вот все.
источник
19:18пожаловаться#11

G

Gev in Moscow Spark
Мне кажется это именно то что мне надо
источник
19:18пожаловаться#12

A

Andrei in Moscow Spark
Gev
Мне кажется это именно то что мне надо
Придется в private api правда залезть. Вот небольшой пример, как вкладку добавить например https://github.com/andreoss/spark-tabs.
GitHub
andreoss/spark-tabs
Custom tabs for Spark UI. Contribute to andreoss/spark-tabs development by creating an account on GitHub.
источник
19:22пожаловаться#13

G

Gev in Moscow Spark
Интересно. Покопаюсь. Спасибо.
Если у кого есть еще идеи - спасибо
источник
19:24пожаловаться#14

G

Gev in Moscow Spark
А что скажете насчет Apache Livy. ? Я думал его задействовать для этого.
источник
19:27пожаловаться#15

GP

Grigory Pomadchin in Moscow Spark
Andrei
Придется в private api правда залезть. Вот небольшой пример, как вкладку добавить например https://github.com/andreoss/spark-tabs.
GitHub
andreoss/spark-tabs
Custom tabs for Spark UI. Contribute to andreoss/spark-tabs development by creating an account on GitHub.
очень прикольно, спасибо за ссылку
источник
19:45пожаловаться#16

R

Rodion in Moscow Spark
Gev
А что скажете насчет Apache Livy. ? Я думал его задействовать для этого.
А чем для твоих кейсов джупитер/цеппелин не подойдёт?
источник
21:40пожаловаться#17

G

Gev in Moscow Spark
Rodion
А чем для твоих кейсов джупитер/цеппелин не подойдёт?
Прежде всего тем что пишется специальный пользовательский web интерфейс. И вот через него пользователи и будут работать с данными. Это не подготовленные пользователи
источник
21:41пожаловаться#18

R

Rodion in Moscow Spark
Gev
Прежде всего тем что пишется специальный пользовательский web интерфейс. И вот через него пользователи и будут работать с данными. Это не подготовленные пользователи
Если не ошибаюсь, цеппелин можно так накрутить, чтобы сразу на скл писать запросы, если правильно помню, в тинькофф так устроено
источник
21:54пожаловаться#19

G

Gev in Moscow Spark
Rodion
Если не ошибаюсь, цеппелин можно так накрутить, чтобы сразу на скл писать запросы, если правильно помню, в тинькофф так устроено
Может и да. Не спорю. Дело не в запросах. У нас есть Hue и он тоже порешает некоторые вопросы. Тут дело в том что пользователи простые. Что такое скул - не знают.
источник
21:56пожаловаться#20