groupBy(a, b, c, salt)

У меня было что-то подобное при использовании окна и группировки partitionBy, ничего, кроме соли, не спасало.

Ой, прелесть какая

Вот наверное такой кейс и есть

ну еще можно как вариант раслчленить датафрейм на куски, отдельно оставить перекошенный ключ, а потом его через union добавить

Ну тут просто ещё такой момент что ты без групбая не поймёшь какой кусок датафрейма перекошен

ну почему, тут как раз тебе соль поможет 100%

grouBy(foo, salt).count.groupBy(foo).sum("foo")

вообщем выкрутиться можно)

Я вот думаю, работает ли это на row_number с окном

Какая разница, ты ведь группируешь все равно для этого?

Ну в идеале мне посчитать row_number по окну которое равно этой группировке, просто если вводить соль в окно, то row_number будет небольше чем число строк в окне собственно, непонятно как потом получить row_number по всей партиции

С суммой тут не прокатит)

с суммой это я херь сказал, не подумав (удалил уже)

ну смотри, можно че нить такое сделать (примерно):
1) делаем окно по ключу + соли, c сортировкой по колонке X, считаем rn
2) делаем новую колонку из кортежа (X + rn)
3) делаем окно по ключу без соли, collect_list этих кортежей
4) дальше как нить обрабатываем этот список кортежей и взрываем всю эту историю

Солидно :)

Ладно, спасибо больше всем за ответы, буду уже думать как там всё солить

@tenKe @ExcellentName

Я уже не знаю что с этим репартишеном не так, даже с солью не работает вот вообще, перед записью вывожу отдельно число строк в каждом spark_partition_id - ровно две Спарк партиции с соответствующими числами строк

Execute InsertIntoHadoopFsRelationCommand InsertIntoHadoopFsRelationCommand ... 153 more fields]
+- Exchange hashpartitioning(concat_ws("_", my_date, FLOOR(rand * CEIL(salted_count_in_partition / required_rows_per_file)), 200)
+- Window [count(1) windowspecdefinition(my_date, salt) AS salted_count_in_partition]
+- Sort [my_date ASC NULLS FIRST, salt ASC NULLS FIRST], false, 0
+- Exchange hashpartitioning(my_date, salt, 200)
+- FileScan orc [...]

Окно отрабатывает, а репартишен по результатам окна - нет

> FLOOR(rand * CEIL(salted_count_in_partition / required_rows_per_file))
а у тебя там какие значения у этой колонкиколонки?