Привет всем. Подскажите плз - как вы определяете какой из десятка джоинов, которые есть в расчете, делают вот такое?

В sql вью можно же смотреть за тем, скоро данных отсылается

Проблема в том, что экзекюторов 50 штук, а по факту работает один на который прилетает 25 гигов. В SQL view этого не понять. У меня несколько джоинов где примерно такой же объем данных.

посмотри распределения по ключам каждого джойна

Я ничего лучше не нашел, чем после каждой агрегации вызывать action, что бы понимать что конкретно происходит на каждом этапе.

к сожалению так же делаю способа другого пока нету(

Ждём обсерверов, видимо

Да, решил тоже так делать. Пишу результат джойна в паркет-файл и смотрю он это или нет.

есть ссылки почитать про это?

De facto new data quality measuring tool is coming to the core @ApacheSpark

#dq #monitoring #dataquality

http://apache-spark-developers-list.1001551.n3.nabble.com/Observable-Metrics-on-Spark-Datasets-td30953.html

Коллеги, привет!

Посоветуйте плиз, как можно наиболее эффективным образом загрузить таблицу из Hive в Green Plum размером в 10Гб Spark-ом?

Возник кейс, что стандартный механизм загрузки через метод write с jdbc-подключением + указанием конфига на numPartitions (5) и batchsize = ‘1000000’ приводит к тому, что джоба забила логи в Green Plum однострочными insert и почти положила сервак из-за этого, хотя планировалось загружать батчами по 1000000 строк.

Мб кто-то решал такую проблему и может посоветовать что-то?

Да

Через pxf делаешь копию, потом exchange partitions

Jdbc для mpp нифига не стандарт

К слову пришлось )

ок, пойду гуглить, спасибо

А кроме как через external table есть варианты?
Этот вариант заказчику не подходит, требуется загрузить и создать физическую таблицу.

Самый шустрый вариант это psql copy

Ваш объем загрузит минуты за три в зависимости от нагрузки на мастер.