JF
к примеру
Size: a a a
2021 April 06
ЕГ
WithColumn(order, when(state = NA, lit(0)).otherwise(lit(1))
А
Row_number() over (partition by name, department order by name) as rn и дальше фильтр по rn=1
JF
спасибо, сейчас c row_number попробую
z
Только rank вместо row number
IS
Что-то не то)
IS
С таким роу намбером не выберется из NY уник
ЕГ
Вот это в ордер бай окна добавить
IS
Я не вижу адекватных способов кроме как присвоить каждому штату цифру, причем NY - 1, а остальным пофиг какие
И брать такой ранк с сортировкой по этой цифре и брать rn = 1
И брать такой ранк с сортировкой по этой цифре и брать rn = 1
ЕГ
И фильтр where rn = 1 or state = NY
IS
А, да, или так)
t
1. окно по name,dep
2. collect_set(state).over(window)
3. filter ( esli state == NY ili collected_set ne array_contains(NY))
2. collect_set(state).over(window)
3. filter ( esli state == NY ili collected_set ne array_contains(NY))
JF
я так даже думала 🙂
JF
но что-то не работает у меня
JF
не окном, а группбайем
t
кажется это должно работать
JF
проверяю, спасибо
А
Если цель была выбрать уникальное сочетание Name+Dept, как показано вот на этом скрине, то вот эта конструкция row_number() over (partition by name, department order by name ) as rn дает такой результат:
А
А
Вроде все правильно. Или я чего-то не понял в изначальном условии задачи.