NB
SELECT *,
COUNT(*) OVER(PARTITION BY _2 ORDER BY _1
RANGE BETWEEN 2 PRECEDING AND CURRENT ROW
) -1 AS count
FROM table
ORDER BY ID
Это немного другая задача, не то что озвучивалась
Size: a a a
2021 February 12
NB
WITH
Select
Select
select
select
select
t as (
Select 1 as a, 'a' as b
UNION ALLSelect
2 as a, 'b'as b
UNION ALLSelect
3 as a, 'a' as b
UNION ALLselect
4 as a, 'a' as b
union allselect
5 as a, 'a' as b
union allselect
6 as a, 'b' as b
)
select *, count(*) over(partition by b order by a
range between 2 preceding and current row )
from tПФ
Это немного другая задача, не то что озвучивалась
Да?
NB
а не
NB
я тупанул соррян
ПФ
WITH
Select
Select
select
select
select
t as (
Select 1 as a, 'a' as b
UNION ALLSelect
2 as a, 'b'as b
UNION ALLSelect
3 as a, 'a' as b
UNION ALLselect
4 as a, 'a' as b
union allselect
5 as a, 'a' as b
union allselect
6 as a, 'b' as b
)
select *, count(*) over(partition by b order by a
range between 2 preceding and current row )
from tну тут мы привязаны прям к конкретным литералам, а там произвольные строки могут быть
NB
получается, что range between
2 preceding and current row в данной случае окно без учета партицииПФ
А, не, сорри, это ты просто выразил дф sql'ем
А
получается, что range between
2 preceding and current row в данной случае окно без учета партициивот для меня тоже новость. Век учись
NB
вот для меня тоже новость. Век учись
потому что range а не rows
NB
ни разу не использовал range, даже затупил что-то )
ПФ
Introducing Kotlin for Apache Spark Preview 2
#kotlin #spark
https://blog.jetbrains.com/kotlin/2021/02/kotlin-for-apache-spark-one-step-closer-to-your-production-cluster/
#kotlin #spark
https://blog.jetbrains.com/kotlin/2021/02/kotlin-for-apache-spark-one-step-closer-to-your-production-cluster/
N
Все привет. Подскажите коллеги. Запускаю простую джобу с селектом + условие и дф потом записываю в новую таблицу или в уже готовую, но в новую партицию. Сам селект с условием проходит быстро(для меня) минут 8+-, а табличка создаётся 15мин+-. В чем может быть проблема? Никакой экзотики нет, все по дефольту. Может кто встречался такой случай
NN
Все привет. Подскажите коллеги. Запускаю простую джобу с селектом + условие и дф потом записываю в новую таблицу или в уже готовую, но в новую партицию. Сам селект с условием проходит быстро(для меня) минут 8+-, а табличка создаётся 15мин+-. В чем может быть проблема? Никакой экзотики нет, все по дефольту. Может кто встречался такой случай
Ну, для начала, как Вы поняли, что селект с условием выполняется 7 минут, т.е. какой конкретно экшн вы выполняете? Далее, при записи в табличку у Вас подрастут IO косты. Ну и нужно за уровнем параллелизма следить, мб надо поднять. Если где-то наговорил ерунды, то коллеги поправят.
2021 February 13
N
Ну, для начала, как Вы поняли, что селект с условием выполняется 7 минут, т.е. какой конкретно экшн вы выполняете? Далее, при записи в табличку у Вас подрастут IO косты. Ну и нужно за уровнем параллелизма следить, мб надо поднять. Если где-то наговорил ерунды, то коллеги поправят.
Через ui, в стейдже проследил за задачей
AB
Все привет. Подскажите коллеги. Запускаю простую джобу с селектом + условие и дф потом записываю в новую таблицу или в уже готовую, но в новую партицию. Сам селект с условием проходит быстро(для меня) минут 8+-, а табличка создаётся 15мин+-. В чем может быть проблема? Никакой экзотики нет, все по дефольту. Может кто встречался такой случай
А сколько записей?
N
А сколько записей?
Несколько лямов, таблица широкая
AS
Несколько лямов, таблица широкая
Много вопросов: пишите в таблицу, таблица это хайв? Что физически файлы, csv orc parquet? Как пишите, через хайв или Спарком напрямую, есть ли там бакеты?
N
Много вопросов: пишите в таблицу, таблица это хайв? Что физически файлы, csv orc parquet? Как пишите, через хайв или Спарком напрямую, есть ли там бакеты?
Хайв, орк, спарком, без бакетов
ЕГ
Все привет. Подскажите коллеги. Запускаю простую джобу с селектом + условие и дф потом записываю в новую таблицу или в уже готовую, но в новую партицию. Сам селект с условием проходит быстро(для меня) минут 8+-, а табличка создаётся 15мин+-. В чем может быть проблема? Никакой экзотики нет, все по дефольту. Может кто встречался такой случай
repartition надо сделать