В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

938 membersпожаловаться на группу
2021 February 02

ВК

Вячеслав Колосков... in Moscow Spark
Добрый день.
Подскажите, есть библиотека pyhive, которая, как я понимаю, отправляет запросы через Tez.
Есть ли какие-либо преимущеcтва отправлять запросы через Spark?
источник
19:27пожаловаться#1

EC

Eugene Chipizubov in Moscow Spark
Вячеслав Колосков
Добрый день.
Подскажите, есть библиотека pyhive, которая, как я понимаю, отправляет запросы через Tez.
Есть ли какие-либо преимущеcтва отправлять запросы через Spark?
Надо над формулировкой вопроса поработать. pyhive прямого отношения к tez не имеет.
Лучше спросить так, если у меня есть sql engine, зачем мне spark с его плюшками?
источник
21:07пожаловаться#2

EC

Eugene Chipizubov in Moscow Spark
Паша Финкельштейн
Но надо иметь локальное подключение к спарку
Буду признателен! Давно хотел эту тему прокопать
источник
21:16пожаловаться#3

ПФ

Паша Финкельштейн... in Moscow Spark
Eugene Chipizubov
Буду признателен! Давно хотел эту тему прокопать
Напиши мне завтра днём, я попробую пошарить. Но это преальфа, надо иметь в виду и ни на что не надеяться
источник
23:24пожаловаться#4

EC

Eugene Chipizubov in Moscow Spark
Ок
источник
23:25пожаловаться#5

K

KrivdaTheTriewe in Moscow Spark
Eugene Chipizubov
научите дебажить спарк, ведро пива дам
Нужно лямбду в  ник
источник
23:28пожаловаться#6

K

KrivdaTheTriewe in Moscow Spark
А вообще дебаг а идее
источник
23:28пожаловаться#7

K

KrivdaTheTriewe in Moscow Spark
С локальным мастером
источник
23:28пожаловаться#8

ПФ

Паша Финкельштейн... in Moscow Spark
KrivdaTheTriewe
А вообще дебаг а идее
Не поможет попасть в сгенерированный код
источник
23:35пожаловаться#9
2021 February 03

D

Dmitry in Moscow Spark
Привет!
Подскажите, пожалуйста, есть ли какой-то станадртный нормальный способ прокинуть чувствительные креды-токены в spark-submit (spark on yarn, cluster mode), чтобы эти креды нельзя было восстановить по веб морде ярнового ресурс менеджера / spark application master?

Вижу, что в ярне в launch_container.sh видны как аргументы, так и ENV переменные.
источник
23:49пожаловаться#10

ПФ

Паша Финкельштейн... in Moscow Spark
Dmitry
Привет!
Подскажите, пожалуйста, есть ли какой-то станадртный нормальный способ прокинуть чувствительные креды-токены в spark-submit (spark on yarn, cluster mode), чтобы эти креды нельзя было восстановить по веб морде ярнового ресурс менеджера / spark application master?

Вижу, что в ярне в launch_container.sh видны как аргументы, так и ENV переменные.
Раскидываем броадкастом с мастера, который читает откуда-то, например из vault?
источник
23:51пожаловаться#11

D

Dmitry in Moscow Spark
Паша Финкельштейн
Раскидываем броадкастом с мастера, который читает откуда-то, например из vault?
Чтобы попасть в волт, ведь тоже нужен токен:) как этот токен передать мастеру? Или я не так понял?
источник
23:52пожаловаться#12

ПФ

Паша Финкельштейн... in Moscow Spark
Dmitry
Чтобы попасть в волт, ведь тоже нужен токен:) как этот токен передать мастеру? Или я не так понял?
Цель не иметь возможности вытащить вообще или только из морды? Файл с паролем может лежать зашифрованным в репозитории
источник
23:53пожаловаться#13

ПФ

Паша Финкельштейн... in Moscow Spark
И только во время билда расшифровываться и укладываться в джарник
источник
23:54пожаловаться#14
2021 February 04

K

KrivdaTheTriewe in Moscow Spark
Dmitry
Привет!
Подскажите, пожалуйста, есть ли какой-то станадртный нормальный способ прокинуть чувствительные креды-токены в spark-submit (spark on yarn, cluster mode), чтобы эти креды нельзя было восстановить по веб морде ярнового ресурс менеджера / spark application master?

Вижу, что в ярне в launch_container.sh видны как аргументы, так и ENV переменные.
Там есть параметр в спарка
источник
00:00пожаловаться#15

K

KrivdaTheTriewe in Moscow Spark
Что не отображать
источник
00:00пожаловаться#16

K

KrivdaTheTriewe in Moscow Spark
В аппмастере
источник
00:00пожаловаться#17

D

Dmitry in Moscow Spark
Паша Финкельштейн
Цель не иметь возможности вытащить вообще или только из морды? Файл с паролем может лежать зашифрованным в репозитории
предполагается, что имеется доступ к ui-ям, коду / бинарным артефактам (джарники, типа). Хотя в моем случае  конкретно речь про питон, но, кажется, это ничего принципиально не меняет.
источник
00:00пожаловаться#18

K

KrivdaTheTriewe in Moscow Spark
Dmitry
предполагается, что имеется доступ к ui-ям, коду / бинарным артефактам (джарники, типа). Хотя в моем случае  конкретно речь про питон, но, кажется, это ничего принципиально не меняет.
Посмотрите секцию конфигурейшн документации, там прям есть то что вы ищите , в апп мастере
источник
00:01пожаловаться#19

K

KrivdaTheTriewe in Moscow Spark
Возможно ключевое слово secret или как то так
источник
00:01пожаловаться#20