Size: a a a

ClickHouse не тормозит

2021 January 26

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Виолет
ну вот нужен столбик session_number
типа?

create table sess (student Int64, events String, session_is_new Int8, session_number Int64 ) Engine=Log;
insert into sess values (1, 'ev1', 1, 1),  (1, 'ev2', 0, 1),  (1, 'ev3', 0, 1),  (1, 'ev4', 1, 2);
insert into sess values (2, 'ev1', 1, 1);

SELECT student, sum(session_is_new) OVER (PARTITION BY student)  session_number
from  sess

┌─student─┬─x─┐
│       1 │ 1 │
│       1 │ 1 │
│       1 │ 1 │
│       1 │ 2 │
└─────────┴───┘
┌─student─┬─x─┐
│       2 │ 1 │
└─────────┴───┘
источник

В

Виолет in ClickHouse не тормозит
Dmitriy Novikov
в скаенг ch завезли?
а я уже не в скае)
источник

В

Виолет in ClickHouse не тормозит
ну типа да
источник

В

Виолет in ClickHouse не тормозит
только на кликхаусе)
источник

В

Виолет in ClickHouse не тормозит
SELECT student, sum(session_is_new) OVER (PARTITION BY student order by session_start_at)  session_number
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
select student, arrayJoin(arrayZip(x,y))
from (
SELECT student, arrayCumSum(groupArray(session_is_new)) x, groupArray(session_number) y
from  sess
group by student)

┌─student─┬─arrayJoin(arrayZip(x, y))─┐
│       2 │ (1,1)                     │
│       1 │ (1,1)                     │
│       1 │ (1,1)                     │
│       1 │ (1,1)                     │
│       1 │ (2,2)                     │
└─────────┴───────────────────────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
select student, session_is_new, sess_num, session_number, events
from (
SELECT student, arrayCumSum((groupArray( (session_is_new, session_number, events) ) as g).1) gsess_num, g.1 as gsession_is_new, g.2 as gsession_number, g.3 as gevents
from  sess
group by student
) array join gsess_num as sess_num, gsession_is_new as session_is_new,gsession_number as session_number, gevents as events
order by student, events

┌─student─┬─session_is_new─┬─sess_num─┬─session_number─┬─events─┐
│       1 │              1 │        1 │              1 │ ev1    │
│       1 │              0 │        1 │              1 │ ev2    │
│       1 │              0 │        1 │              1 │ ev3    │
│       1 │              1 │        2 │              2 │ ev4    │
│       2 │              1 │        1 │              1 │ ev1    │
└─────────┴────────────────┴──────────┴────────────────┴────────┘
источник

В

Виолет in ClickHouse не тормозит
спасибо) вроде работает)
источник

D

Dima in ClickHouse не тормозит
Всем привет
Может кто-то встречался с такой прблемой
При загрузке файла испоьзую  опцию
clickhouse-client --date_time_input_format=best_effort

Но
когда смотрю в таблицу , то данные в колонку с датой залетают 1970 года
Как можно решить ?
источник
2021 January 27

T

Tatiana in ClickHouse не тормозит
Slach
да, примерно так и для такого кейса кажется лучше сделать DEFAULT чтобы только для новых данных вставлялось
а старые данные через мутации ALTER TABLE ... UPDATE сделать
DEFAULT во время мержей тоже заполняется
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dima
Всем привет
Может кто-то встречался с такой прблемой
При загрузке файла испоьзую  опцию
clickhouse-client --date_time_input_format=best_effort

Но
когда смотрю в таблицу , то данные в колонку с датой залетают 1970 года
Как можно решить ?
ну если мусор в поле то будет 1970
источник

GA

Gulshan Agivetova in ClickHouse не тормозит
Доброе утро! Подскажите пожалуйста где и как можно запустить SQL запрос(объемный) чтоб он не отваливался по разным таймаутам. Без ограничений чтобы выполнился?
источник

S

Slach in ClickHouse не тормозит
Tatiana
DEFAULT во время мержей тоже заполняется
спасибо не знал
в документации сказано обратное
https://clickhouse.tech/docs/en/sql-reference/statements/create/table/#default
источник

S

Slach in ClickHouse не тормозит
Gulshan Agivetova
Доброе утро! Подскажите пожалуйста где и как можно запустить SQL запрос(объемный) чтоб он не отваливался по разным таймаутам. Без ограничений чтобы выполнился?
настройте timeouts в настройках подключения той программы которую используете

либо в командной строке
cat your_sql_file.sql | clickhouse-client --receive_timeout=3600 --idle_timeout=3600 -mn --echo --progress
источник

GA

Gulshan Agivetova in ClickHouse не тормозит
Slach
настройте timeouts в настройках подключения той программы которую используете

либо в командной строке
cat your_sql_file.sql | clickhouse-client --receive_timeout=3600 --idle_timeout=3600 -mn --echo --progress
Спасибо! Но хотелось бы отключить эти timeout'ы, чтобы ограничений вообще не было
источник

S

Slach in ClickHouse не тормозит
Gulshan Agivetova
Спасибо! Но хотелось бы отключить эти timeout'ы, чтобы ограничений вообще не было
так не бывает, мир жесток, 😉
ограничения повсюду, они как гравитация, ее не ощущаешь пока кирпич на голову не упадет =)

вам еще на сервере могут ограничение выставить
https://clickhouse.tech/docs/en/operations/settings/query-complexity/#max-execution-time
источник

GA

Gulshan Agivetova in ClickHouse не тормозит
Slach
так не бывает, мир жесток, 😉
ограничения повсюду, они как гравитация, ее не ощущаешь пока кирпич на голову не упадет =)

вам еще на сервере могут ограничение выставить
https://clickhouse.tech/docs/en/operations/settings/query-complexity/#max-execution-time
Ясно, спасибо 😊!
источник

S

Slach in ClickHouse не тормозит
Gulshan Agivetova
Ясно, спасибо 😊!
ну то есть если у вас запрос идет больше пары минут в clickhouse вы явно делаете что-то не то...

используйте временные таблицы для промежуточных выгрузок
не пытайтесь сделать все одним запросом
источник

GA

Gulshan Agivetova in ClickHouse не тормозит
Slach
ну то есть если у вас запрос идет больше пары минут в clickhouse вы явно делаете что-то не то...

используйте временные таблицы для промежуточных выгрузок
не пытайтесь сделать все одним запросом
у меня десятка больших исторических таблиц которые нужно связывать для получения широкой витринной таблицы.... Что в таких случаях рекомендуется делать? или нужно найти какой нибудь In-memory базу и там джойнить эти таблицы?
источник

GA

Gulshan Agivetova in ClickHouse не тормозит
некоторые таблицы объединяются left join'Ом, и получается типа cartesian product.....
источник