В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

938 membersпожаловаться на группу
2021 January 25

EC

Eugene Chipizubov in Moscow Spark
1min
источник
16:40пожаловаться#1

EC

Eugene Chipizubov in Moscow Spark
источник
16:43пожаловаться#2

EC

Eugene Chipizubov in Moscow Spark
ничего криминального
источник
16:43пожаловаться#3

EC

Eugene Chipizubov in Moscow Spark
ну или я не вижу
источник
16:43пожаловаться#4

GP

Grigory Pomadchin in Moscow Spark
Eugene Chipizubov
ничего криминального
А покажи целиком что ренджпаримштринг делает
источник
16:44пожаловаться#5

EC

Eugene Chipizubov in Moscow Spark
5сек, никак не выйдет из шторма
источник
16:46пожаловаться#6

EC

Eugene Chipizubov in Moscow Spark
источник
16:48пожаловаться#7

GP

Grigory Pomadchin in Moscow Spark
А ты не можешь план целиком что б все стейджи расписанные было видно?)
источник
16:49пожаловаться#8

GP

Grigory Pomadchin in Moscow Spark
Там наверняка написано будет где и почему делается большой репартишн
источник
16:49пожаловаться#9

EC

Eugene Chipizubov in Moscow Spark
Grigory Pomadchin
Там наверняка написано будет где и почему делается большой репартишн
Job -> Stage ?
источник
16:54пожаловаться#10

EC

Eugene Chipizubov in Moscow Spark
источник
16:54пожаловаться#11

EC

Eugene Chipizubov in Moscow Spark
3.2 GB / 17638
источник
16:55пожаловаться#12

EC

Eugene Chipizubov in Moscow Spark
input size | records
источник
16:55пожаловаться#13

EC

Eugene Chipizubov in Moscow Spark
7.9 GB / 43207
источник
16:56пожаловаться#14

EC

Eugene Chipizubov in Moscow Spark
пока влезает в один executor
источник
16:56пожаловаться#15

EC

Eugene Chipizubov in Moscow Spark
все умер по хипу
источник
16:57пожаловаться#16

EC

Eugene Chipizubov in Moscow Spark
Разобрался предварительно, похоже нельзя использовать coalesce с orderBy
источник
18:02пожаловаться#17

EC

Eugene Chipizubov in Moscow Spark
Во первых предельно coalesce не может выдать больше дефолтного spark.sql.shufle.partitions
источник
18:03пожаловаться#18

EC

Eugene Chipizubov in Moscow Spark
Во вторых может генерить эпическое число tasks
источник
18:03пожаловаться#19

t

tenKe in Moscow Spark
coalesce лучше вообще не юзать без явной необходимости
источник
18:04пожаловаться#20