ПФ
Ща, момент
Size: a a a
2021 February 12
ПФ
collect_list работает, это уже то, от чего оттолкнуться можно
GT
Не-не, у меня как раз фиксированного размера окно
Делаешь окно по своему ключу и по значению колонки (с той же сортировкой). Нумеруешь роу намбером, отнимаешь 1
NB
Ща я пример набросаю
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
(1, "a"),
(2, "b"),
(3, "a")
,(4, "a"),
Хочу добавить колонку, в которой будет написано сколько раз на предыдущих двух строках встретилась строка из второй колонки
WITH
Select
Select
select
select
join
t as (
Select 1 as a, 'a' as b
UNION ALLSelect
2 as a, 'b'as b
UNION ALLSelect
3 as a, 'a' as b
UNION ALLselect
4 as a, 'a' as b
union allselect
5 as a, 'a' as b
)
select t1.a, t1.b, count(t2.a)
from t t1
leftjoin
t t2
on t1.b = t2.b
and t1.a > t2.a
and t1.a - 2 <= t2.a
group by t1.a, t1.bА
WITH
Select
Select
select
select
join
t as (
Select 1 as a, 'a' as b
UNION ALLSelect
2 as a, 'b'as b
UNION ALLSelect
3 as a, 'a' as b
UNION ALLselect
4 as a, 'a' as b
union allselect
5 as a, 'a' as b
)
select t1.a, t1.b, count(t2.a)
from t t1
leftjoin
t t2
on t1.b = t2.b
and t1.a > t2.a
and t1.a - 2 <= t2.a
group by t1.a, t1.bтоже вариант, надо только выбрать, что лучше будет по плану и скорости
ПФ
Нашёл
ПФ
val win = Window.orderBy($"_1").rowsBetween(-2, -1)
df.withColumn("tst", collect_list($"_2").over(win)).withColumn("tst2", size(expr("filter(tst, x -> x == _2)")))
ПФ
Оконные функции — козлы
А
Оконные функции — козлы
почему?
ПФ
почему?
Потому что блин нет простых путей сделать кучу вещей, которые должны делать просто
ПФ
Почему я не могу просто представить окно как таблицу и сделать на ней произвольные операции?
ПФ
И в итоге фильтр листа — это не функция, а какой-то непонятный суррогат
M
Особенности реализации?
ПФ
Наверное да )
M
Хотя все равно каждое окно это отдельный стейдж
А
И в итоге фильтр листа — это не функция, а какой-то непонятный суррогат
не знаю, есть еще диалект mdx в классических бд, для обращения к данным а-ля эксель таблицы, но они еще более мозговыносящие.
Возможно будет читаемей код через join, который выше предлагали
Возможно будет читаемей код через join, который выше предлагали
ПФ
Блиииин, а есть совсем другой путь — .partitionBy(_2).orderBy(_1).rowsBetween(-2,1)
и там делать count(*), очень похоже на то, что писали @SLASH_CyberPunk и @space_hero а я не понял по скудоумию своему
и там делать count(*), очень похоже на то, что писали @SLASH_CyberPunk и @space_hero а я не понял по скудоумию своему
ПФ
SELECT *,
COUNT(*) OVER(PARTITION BY _2 ORDER BY _1
RANGE BETWEEN 2 PRECEDING AND CURRENT ROW
) -1 AS count
FROM table
ORDER BY ID
ПФ
Сначала партишн, потом ордер просто сделают нам окошки совсем маленькими
ПФ
Всем спасибо, TIL