В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

938 membersпожаловаться на группу
2021 February 10

GP

Grigory Pomadchin in Moscow Spark
я почему спросил про дсы ли у тебя - они ж на этот конфиг ориентируются
я не говорю что это решение, но это просто позволит тебе диагностировать этап когда все валится и почему валится
источник
01:11пожаловаться#1

M

Mi in Moscow Spark
Ну ради интереса попробую, окей, просто мне нужно сделать для общего случая чтобы нормально работало
источник
01:11пожаловаться#2

GP

Grigory Pomadchin in Moscow Spark
ды ясно)
источник
01:11пожаловаться#3

GP

Grigory Pomadchin in Moscow Spark
покрути корчое этот конфиг чтоб точнее понять когда и изза чего валится
источник
01:12пожаловаться#4

M

Mi in Moscow Spark
Окей, спасибо)
источник
01:12пожаловаться#5

t

tenKe in Moscow Spark
Mi
Не помогло кстати
очень любопытно, покеш план выполнения плз
источник
09:43пожаловаться#6

t

tenKe in Moscow Spark
> 198 моментом и два последних которые падают по размеру контейнера
пажжи, это у тебя в каком месте 200 партиций появляются? Не все ли дело в перекошенном джойне или групбай?
источник
09:45пожаловаться#7

EC

Eugene Chipizubov in Moscow Spark
Alex
значит что-то не там прописываете =) попытайтесь через тот же --conf передать эти параметры
Победил так:
Spark2.4.4-hadoop2.7(hadoop-aws_2.7.0, aws-java-sdk-1.7.4, guava-27.0-jre)
Hadoop3.3.0
Hive3.1.2
и
Spark3.0.1-hadoop3.2(hadoop-aws_3.2.0, aws-java-sdk-bundle-1.11.951, guava-27.0-jre)
Hadoop3.3.0
Hive3.1.2

А всего то надо было, чтобы версия aws совпадала с дистрибутивом спарка, а не кластерным. Плохо по ночам работать... Потом за 5 минут с утра решается все
источник
12:10пожаловаться#8

ИК

Иван Калининский... in Moscow Spark
Mi
Я сейчас не могу особо много показать так как не у компа, но в общем случае там идёт один стейдж (я знаю какой), потом репартишен этот (200 тасков дефолтных), потом запись (143 тачка якобы после репартишена, ожидаемых)
Продолжим разбираться? Если да, расскажи, что это за источник, какой формат читается и каким оператором читается? Есть подозрение (и у меня было что-то похожее на совсем небольших файловых таблицах), что дело в том, что прочитанный источник содержит все данные только в двух партициях
источник
13:46пожаловаться#9

M

Mi in Moscow Spark
Я продолжаю ковыряться, но пока сложно показать подробнее, тут читается из ORC, потом оно падает на exchange по колонке с датами, которых две, и до записи не доходит даже
источник
13:48пожаловаться#10

M

Mi in Moscow Spark
Есть подозрение что он делает этот exchange сам чтобы подготовить для repartition, и не справляется, но я не могу понять зачем там этот стейдж вообще
источник
13:48пожаловаться#11

M

Mi in Moscow Spark
А флоу простой: чтение, фильтр по партициям-папкам, репартишен, запись
источник
13:49пожаловаться#12

M

Mi in Moscow Spark
Запись по тем же партициям-папкам
источник
13:49пожаловаться#13

M

Mi in Moscow Spark
Условно задача разбить файл тяжёлый на несколько файлов заданного размера (чтобы в каждой партиции-папке было свое количество файлов относительно собственно размера этой папки)
источник
13:50пожаловаться#14

t

tenKe in Moscow Spark
Mi
Есть подозрение что он делает этот exchange сам чтобы подготовить для repartition, и не справляется, но я не могу понять зачем там этот стейдж вообще
пакажи план э
источник
13:53пожаловаться#15

ИК

Иван Калининский... in Moscow Spark
Что после чтения в df.rdd.getNumPartitions ?
источник
13:53пожаловаться#16

M

Mi in Moscow Spark
tenKe
пакажи план э
Вам физический?
источник
13:54пожаловаться#17

t

tenKe in Moscow Spark
да
источник
13:54пожаловаться#18

M

Mi in Moscow Spark
Иван Калининский
Что после чтения в df.rdd.getNumPartitions ?
Равно размеру блоков хдфс
источник
13:54пожаловаться#19

M

Mi in Moscow Spark
Там просто план сложно потому что на компе где это все происходит нет телеги
источник
13:54пожаловаться#20