Size: a a a

ClickHouse не тормозит

2020 July 31

S

Slach in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
https://t.me/clickhouse_ru/162540

с помощью массивов можно эмулировать практически любые window functions
вот кстати было бы круто сделать какой то faq в котором sum() OVER (), rank() over () и lag() OVER () через массивы показывалось бы
источник

M

M in ClickHouse не тормозит
@den_crane а вот еще вопрос насчет настройки joined_subquery_requires_alias. В 19.15 ее вроде как не было. В 20.4 она есть и по умолчанию включена. А в дальнейшем не планируется ли ее исключить как настройку и сделать просто включенной по умолчанию?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Vasiliev
Timeout exceeded while receiving data from server. Waited for 300 seconds, timeout is 300 seconds.
Cancelling query.
Ok.
Query was cancelled.

0 rows in set. Elapsed: 566.146 sec.
клиент не понимает что отменить запрос не удалось, он просто тупо видит возврат управления
оптимайз отменить нельзя через break запроса

Cancelling query. --- клиент говорит пытаюсь
Ok.
          -- сервер сообщает запрос завершен успешно
Query was cancelled.
 --- тупой клиент "думает" что он смог отменить запрос
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane ну вот строки разные
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да, нормально
Reading approx. 18038784 -- это кол-во вычисляется типа надо обойти 4565 marks, предполагаем что в них 8192 строк, умножаем, получаем 18038784. А на самом деле было меньше чем 8192 строк в гранулах.

покажите запрос, структуру таблицы, нам станет понятнее почему 200-300
понял) спасибо. На счет структуры таблицы и самого запроса - разобрался, некорректно был выбран ключ партицирования, слишком много их было, убрали - стало ок. Делаем партицирование по другому полю
источник

DV

Dmitry Vasiliev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
клиент не понимает что отменить запрос не удалось, он просто тупо видит возврат управления
оптимайз отменить нельзя через break запроса

Cancelling query. --- клиент говорит пытаюсь
Ok.
          -- сервер сообщает запрос завершен успешно
Query was cancelled.
 --- тупой клиент "думает" что он смог отменить запрос
спасибо
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
а подскажите, что есть SAMPLE BY для MergeTree ? в доке какое-то не очень понятно описание
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Алексей Артамонов
@den_crane ну вот строки разные
так же кол-во партов в одной 78 в другой 48
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane ну вот строки разные
имя парта покажите и смотрите только active
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
так же кол-во партов в одной 78 в другой 48
что в system.replication_queue ?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
что в system.replication_queue ?
вот с активными партами
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ян Калмычков
а подскажите, что есть SAMPLE BY для MergeTree ? в доке какое-то не очень понятно описание
CREATE TABLE fff ( tx Int64) ENGINE = MergeTree() ORDER BY (intHash32(tx)) SAMPLE BY intHash32(tx)
insert into fff select number from numbers(10);

select groupArray(tx)  from fff sample 0.33 offset 0
[9,6,3,1]

select groupArray(tx)  from fff sample 0.33 offset 0.33
[8,2,5]

select groupArray(tx)  from fff sample 0.33 offset 0.66
[7,4,0]

--------
select number n, intHash32(n) x from numbers(10) order by x;
┌─n─┬──────────x─┐
│ 9 │ 1241149650 │
│ 6 │ 1295823179 │
│ 3 │ 1298551497 │
│ 1 │ 1343103100 │
│ 8 │ 1618865725 │
│ 2 │ 1996614413 │
│ 5 │ 2641603337 │
│ 7 │ 3844986530 │
│ 4 │ 3902320246 │
│ 0 │ 4249604106 │
└───┴────────────┘
insert into fff select number from numbers(10);
select groupArray(tx)  from fff sample 0.33 offset 0
[9,6,3,1,9,6,3,1]

optimize table fff final;
select groupArray(tx)  from fff sample 0.33 offset 0
[9,9,6,6,3,3,1,1]
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
вот с активными партами
это что? я не понял
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
А какая таблица хранит логи инсертов?
system.query_log не хранит их
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это что? я не понял
SELECT partition, name, active FROM system.parts WHERE table=‘table_name’, слева это нормальная реплика, а справа где не хватает данных
источник

K

Kid in ClickHouse не тормозит
Павел Прохоров
А какая таблица хранит логи инсертов?
system.query_log не хранит их
Там хранятся все запросы, в том числе и инсерты
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Kid
Там хранятся все запросы, в том числе и инсерты
Note

This table doesn’t contain the ingested data for INSERT queries.
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Вот в доке пишут что нет
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
что в system.replication_queue ?
а тут такой эксепшен:  Code: 49, e.displayText() = DB::Exception: Part 202007_178923_183866_158 intersects next part 202007_183866_183876_2 (state Committed). It is a bug. (version 20.5.2.7 (official build))
источник

K

Kid in ClickHouse не тормозит
Павел Прохоров
Note

This table doesn’t contain the ingested data for INSERT queries.
сори, данных не содержит для инсертов
источник