В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2020 February 03

SO

Simon Osipov in Moscow Spark
Привет, вопрос: Spark 2.3
.withColumn("row_number", func.row_number().over(Window.partitionBy(["foo", "bar"]).orderBy(["foo1", "bar2"], ascending=[False, False])))

Говорит, что ascending нет у оконной функции, что только у DF есть.
Есть https://issues.apache.org/jira/browse/SPARK-18818, который вроде как хотели сделать, но что-то встряли.

Какой обходной путь есть, если мне надо row_number() заиметь в оконной функции?
источник
21:19пожаловаться#1

АП

Алексей Пахомов... in Moscow Spark
отрицни?
источник
21:22пожаловаться#2

SO

Simon Osipov in Moscow Spark
Алексей Пахомов
отрицни?
Простите, не понял это слово
источник
21:24пожаловаться#3

DZ

Dmitry Zuev in Moscow Spark
Sql напиши
источник
21:26пожаловаться#4

DZ

Dmitry Zuev in Moscow Spark
Ради чего этот дроч
источник
21:26пожаловаться#5

АП

Алексей Пахомов... in Moscow Spark
ну сортировка считается , но в обратном направлении, ты можешь получить необходимую обработав получившийся порядок
источник
21:29пожаловаться#6

SO

Simon Osipov in Moscow Spark
Алексей Пахомов
ну сортировка считается , но в обратном направлении, ты можешь получить необходимую обработав получившийся порядок
мне нужен был row_number = 1, можно пойти от max(row_number) получается
источник
21:30пожаловаться#7

АП

Алексей Пахомов... in Moscow Spark
это костыль конечно но искомую задачу решит
источник
21:31пожаловаться#8

SO

Simon Osipov in Moscow Spark
Алексей Пахомов
это костыль конечно но искомую задачу решит
А не костыль это писать SQL?
источник
21:31пожаловаться#9

AK

Alena Korogodova in Moscow Spark
Что плохого в SQL?
источник
21:31пожаловаться#10

SO

Simon Osipov in Moscow Spark
Ничего плохого в этом нет, мне просто интересно решение без SQL
источник
21:34пожаловаться#11

DZ

Dmitry Zuev in Moscow Spark
Simon Osipov
Ничего плохого в этом нет, мне просто интересно решение без SQL
Будет такое же как на sql
источник
21:35пожаловаться#12

ТС

Тимофей Смирнов... in Moscow Spark
Там вроде есть функция SF.desc
источник
21:37пожаловаться#13

AK

Alena Korogodova in Moscow Spark
Я искренне не понимаю этой нелюбви к sql. Удобно же! А не эти портянки, что аж глаза сломать можно.
источник
21:37пожаловаться#14

АП

Алексей Пахомов... in Moscow Spark
test.withColumn("row_number", F.row_number().over(Window.partitionBy(["foo", "bar"]).orderBy(F.col("x").desc()))).show()
источник
21:37пожаловаться#15

С

Сюткин in Moscow Spark
Alena Korogodova
Я искренне не понимаю этой нелюбви к sql. Удобно же! А не эти портянки, что аж глаза сломать можно.
Мыж погромисты, давайте не эскьюэльничать, оставьте это аналитикам
источник
21:38пожаловаться#16

DZ

Dmitry Zuev in Moscow Spark
Алексей Пахомов
test.withColumn("row_number", F.row_number().over(Window.partitionBy(["foo", "bar"]).orderBy(F.col("x").desc()))).show()
Синтаксис sql, только уродливый. Так скорее всего это питон, никаких типов, никакой компиляции
источник
21:39пожаловаться#17

SO

Simon Osipov in Moscow Spark
Алексей Пахомов
test.withColumn("row_number", F.row_number().over(Window.partitionBy(["foo", "bar"]).orderBy(F.col("x").desc()))).show()
Да, вот только если сортировка по 2 колонкам нужна, desc() к списку же не применишь
источник
21:40пожаловаться#18

ТС

Тимофей Смирнов... in Moscow Spark
По моему питон красивее)
источник
21:40пожаловаться#19

AK

Alena Korogodova in Moscow Spark
Сюткин
Мыж погромисты, давайте не эскьюэльничать, оставьте это аналитикам
Аналитики всё в пандас запихивают и радуются)
источник
21:40пожаловаться#20