ПФ
Мне надо по окну найти все вхождения
Size: a a a
2021 February 12
ПФ
типа select count(x) where x=3
VS
having?
VS
И это не совсем по окну, на сколько я понимаю
ПФ
А мне вот надо по окну 😞
А
в подзапрос его и фильтр сверху
VS
Ты делаешь каунт по окну, а потом условия по каунту
А
продолжаем играть в вангу: case when для фильтрации внутри окна
ПФ
продолжаем играть в вангу: case when для фильтрации внутри окна
Ща я пример набросаю
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
(1, "a"),
(2, "b"),
(3, "a")
,(4, "a"),
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
ПФ
то есть в этом примере в третьей колонке будет
0
0
1
1
ПФ
Интуитивно кажется что это должно быть просто, но как это сделать в спарке я не понимаю
ПФ
Окно ж нельзя представить как датафрейм?
e
Ща я пример набросаю
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
(1, "a"),
(2, "b"),
(3, "a")
,(4, "a"),
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
а как это должно работать в кластере ?
e
ты же не знаешь что там насчиталось на другом узле
ПФ
а как это должно работать в кластере ?
Ну
Window.orderBy("_1").rowsBetween(-2, Window.currentRow)ПФ
Раз мы можем вычислить
avg(_1) over window — значит это уже работает как-то 😊ПФ
Понятно что у этого есть цена в дикий шафл, но уж если надо то надо.
А
Ща я пример набросаю
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
(1, "a"),
(2, "b"),
(3, "a")
,(4, "a"),
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
BETWEEN 2 PRECEDING AND CURRENT ROW
А
Это вроде синоним https://t.me/moscowspark/14123?
возможно, я такое до этого только на sql писал