Телеграмм чат группы clickhouse

2020 September 04

И

всем привет. а есть какой-то механизм ротации логов в system.query_log из коробки? если нет, кто как решает данный вопрос?

Дропать старые партиции в кроне в вашем_любимом_планировщике

источник

14:23пожаловаться #1

D

Dj in ClickHouse не тормозит

Dmitrii Oslavskii

всем привет. а есть какой-то механизм ротации логов в system.query_log из коробки? если нет, кто как решает данный вопрос?

есть же, в config

источник

14:28пожаловаться #2

AK

Aleksey Korsakov in ClickHouse не тормозит

Vladyslav Sakun

Зачем Вы разделяете PRIMARY KEY и ORDER BY, если они одинаковые?
По какому полю делаете выборку?
Сколько записей в таблице?

А есть разница в производительности, если разделять или нет? Выборку в Mat View по всем полям делаю с "WHERE UId = ...". Записей в исходной таблице 30 миллионов.

источник

14:28пожаловаться #3

D

Dj in ClickHouse не тормозит

Dmitrii Oslavskii

всем привет. а есть какой-то механизм ротации логов в system.query_log из коробки? если нет, кто как решает данный вопрос?

https://t.me/clickhouse_ru/176840

Kos in ClickHouse не тормозит

хмм
Cannot MATERIALIZE TTL as there is no TTL set for table system.query_thread_log (version 20.5.3.27 (official build))
вот вырезка из конфига
<query_thread_log>
<database>system</database>
<table>query_thread_log</table>

<engine>ENGINE = MergeTree PARTITION BY (event_date) ORDER BY (event_date, event_time) TTL event_date + toIntervalWeek(1) SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1 </engine>
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_thread_log>

источник

14:28пожаловаться #4

VS

Vladyslav Sakun in ClickHouse не тормозит

Aleksey Korsakov

А есть разница в производительности, если разделять или нет? Выборку в Mat View по всем полям делаю с "WHERE UId = ...". Записей в исходной таблице 30 миллионов.

Вот тут написано когда разделять https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-creating-a-table
Но по факту у Вас индекс на SId, а выборку делаете по UId, вопрос зачем Вам индекс по SId?

clickhouse.tech

MergeTree | Документация ClickHouse

MergeTree Движок MergeTree, а также другие движки этого семейства (*MergeTree) — это наиболее функциональные движки табл

источник

14:30пожаловаться #5

DO

Dmitrii Oslavskii in ClickHouse не тормозит

Dj

https://t.me/clickhouse_ru/176840

Kos in ClickHouse не тормозит

хмм
Cannot MATERIALIZE TTL as there is no TTL set for table system.query_thread_log (version 20.5.3.27 (official build))
вот вырезка из конфига
<query_thread_log>
<database>system</database>
<table>query_thread_log</table>

<engine>ENGINE = MergeTree PARTITION BY (event_date) ORDER BY (event_date, event_time) TTL event_date + toIntervalWeek(1) SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1 </engine>
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_thread_log>

о, спасибо, не нашел вот это сразу

источник

14:32пожаловаться #6

AS

Artem Savinov in ClickHouse не тормозит

День добрый.
никто не сталкивался- делаем запросы в click из питона по http через requests.Session() - получаем ошибку DB::Exception: Cannot parse input: expected eof before: rue (version 20.3.17.173) , тот же запрос в curl проходит без проблем

источник

14:34пожаловаться #7

AK

Aleksey Korsakov in ClickHouse не тормозит

Vladyslav Sakun

Вот тут написано когда разделять https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-creating-a-table
Но по факту у Вас индекс на SId, а выборку делаете по UId, вопрос зачем Вам индекс по SId?

clickhouse.tech

MergeTree | Документация ClickHouse

MergeTree Движок MergeTree, а также другие движки этого семейства (*MergeTree) — это наиболее функциональные движки табл

Оу, действительно, ошибся. Это не принципиально в данном случае. Сейчас проверил выборку по SId - первый запрос ~1.3 сек, последующие ~0.9 в обоих MV (с AggregatingMergeTree и MergeTree). Вопрос почему нет разницы между AggregatingMergeTree и MergeTree?

источник

14:35пожаловаться #8

VS

Vladyslav Sakun in ClickHouse не тормозит

Aleksey Korsakov

Оу, действительно, ошибся. Это не принципиально в данном случае. Сейчас проверил выборку по SId - первый запрос ~1.3 сек, последующие ~0.9 в обоих MV (с AggregatingMergeTree и MergeTree). Вопрос почему нет разницы между AggregatingMergeTree и MergeTree?

Это принципиально, поскольку в таком случае у Вас full scan.
И очень странно, что хоть по индексу поиск, хоть full scan у Вас время выполнения приблизительно одинаковое

источник

14:41пожаловаться #9

D

Dj in ClickHouse не тормозит

Aleksey Korsakov

Оу, действительно, ошибся. Это не принципиально в данном случае. Сейчас проверил выборку по SId - первый запрос ~1.3 сек, последующие ~0.9 в обоих MV (с AggregatingMergeTree и MergeTree). Вопрос почему нет разницы между AggregatingMergeTree и MergeTree?

вам надо в MV использовать -State функции (например minState). Или SimpleAggregateFunction
AggregatingMT так не работает...

источник

14:53пожаловаться #10

D

Dj in ClickHouse не тормозит

Aleksey Korsakov

Оу, действительно, ошибся. Это не принципиально в данном случае. Сейчас проверил выборку по SId - первый запрос ~1.3 сек, последующие ~0.9 в обоих MV (с AggregatingMergeTree и MergeTree). Вопрос почему нет разницы между AggregatingMergeTree и MergeTree?

...
   SELECT
       minState(Timestamp) Timestamp,
       UId,
       SId,
       Name,
       minIfState(Ver, Ver <> '') Ver
...

источник

14:56пожаловаться #11

S

Slawka in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

select server, date, diff
(select server, groupArray(date) gd, arrayDifference(groupArray(counter)) gc
from ()
group by server
) array join gd as date, gc as diff

Спасибо

источник

15:26пожаловаться #12

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Aleksey Korsakov

Оу, действительно, ошибся. Это не принципиально в данном случае. Сейчас проверил выборку по SId - первый запрос ~1.3 сек, последующие ~0.9 в обоих MV (с AggregatingMergeTree и MergeTree). Вопрос почему нет разницы между AggregatingMergeTree и MergeTree?

если кол-во строк почти одинаковое то разницы не будет.

У вас кстати в MV не хватает полей в order by , у вас там кривые данные, UId и Name вычислены как any

источник

16:02пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Павел Прохоров

Спасибо!
Я неправильно сформулировал
У меня есть кусок данных, который я лью. Это явно несколько батчей инсертов.
А если я хочу чтобы он был доступен только после окончания всей заливки?

если очень надо и памяти не хватает на инсерт одни партом, можно инсертить в отдельную таблицу и атачить партиции из нее

источник

16:04пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Давид Авагимян

Всем привет. Имеется таблица с данными пользователями размер таблицы около 8 миллиардов и постоянно растет. Есть поле uid и attribute_id. Задача состоит в том что нужно получить другие атрибуты у пользователя по какому то конкретному. Пример: Взять всех пользователей с атрибутов А и посчитать у них суммы других атрибутов. Может ли кх такую задачу решить ?

select sum() ..... where uid in (select uid where attribute_id =

источник

16:07пожаловаться #15

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Николай Гусев

Добрый день!

Мне нужно вывести столбец с датой и столбец со значением даты предыдущей строки. Каким образом это можно реализовать в ClickHouse?

Спасибо

для каждой строки предыдущую? asof join
если для одной в каждой группе groupArray

источник

16:10пожаловаться #16

ПП

Павел Прохоров... in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

если очень надо и памяти не хватает на инсерт одни партом, можно инсертить в отдельную таблицу и атачить партиции из нее

А вот это интересно) Спасибо, посмотрю в эту сторону

источник

16:10пожаловаться #17

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Павел Прохоров

А вот это интересно) Спасибо, посмотрю в эту сторону

если данных атомарно надо вставлять немного (<1ГБ) то проще разобраться с обычным инсертом (понять как создавать один парт)

инсерт парта атомарный, при инсерте КХ создает на диске каталог tmp_имя_парта, и полученные от инсерта данные сортирует в памяти и пишет в файлы в tmp_имя_парта, когда парт готов, он переименовывает tmp_ в имя_парта и добавляет этот парт в список активных партов. Селекты видят только активные парты из того списка.
Проблема только понять как создавать инсертом парт а не партЫ.

источник

16:17пожаловаться #18

G

Gleb in ClickHouse не тормозит

Файл не видит, что еще может не так быть ?

источник

17:00пожаловаться #19

У

Ухудшанский... in ClickHouse не тормозит

Gleb

Файл не видит, что еще может не так быть ?

Chown?

источник

17:01пожаловаться #20