S
По кликхаузу у вас какой вопрос-то? Способы отправки нотификации о проблемах не имеют отношения к этому чату
Size: a a a
2020 May 24
NK
Nursultan Kariev
Всем привет, возможно вопрос немного не в тему, но хотелось узнать, что вы используете для регулярной проверки таблиц на актуальность данных
Да, я понимаю, поэтому и написал, что вопрос немного не в тему
R
Всем привет!
такой вопрос, есть таблица user_props, где например для конкретного юзера в один записях заполнены одни колонки, в других записях другие, как можно эти записи объединить, чтобы все значения из этих колонок оказались в одной записи? То есть надо как то отсортировать по дате создания - created_at, отфильтровать по user_id и объединить записи, может как то view создать или MV
такой вопрос, есть таблица user_props, где например для конкретного юзера в один записях заполнены одни колонки, в других записях другие, как можно эти записи объединить, чтобы все значения из этих колонок оказались в одной записи? То есть надо как то отсортировать по дате создания - created_at, отфильтровать по user_id и объединить записи, может как то view создать или MV
MI
Al T
рекомендовали на митапе комбинированный вариант, когда наиболее популярные ключи (особенно если по ним фильтровать надо) в отдельные колонки, а остальные jsonом в одну колонку
А есть запись этого митапа?
AT
Если память не изменяет то это апрельский митап на ютубе должен быть
a
смотрел видео на эту тему, там основная идея - делать materialized fields на популярные ключи
OM
Привет, подскажите, а как то можно КХ сказать чтобы он почаще мерджил партиции, а то ресурсы простаивают, колво партиций растет...
S
Проверьте по метро BackgroundPool, мб просто его увеличить
A
Nursultan Kariev
Я написал баш скрипт к которому подвязал отправку на телеграм, но, думал, может есть более продвинутые методы
Вам мониторинг нужен. Например для Прометея есть бесчисленное множество sql_exporter'ов.
A
Привет, подскажите, а как то можно КХ сказать чтобы он почаще мерджил партиции, а то ресурсы простаивают, колво партиций растет...
Из серии вредных советов, можно периодически подергивать optimize table.
A
Привет, подскажите, а как то можно КХ сказать чтобы он почаще мерджил партиции, а то ресурсы простаивают, колво партиций растет...
А вообще, парты в итоге то мержатся у вас? Может просто большие слишком и КХ их просто уже не трогает.
OM
А вообще, парты в итоге то мержатся у вас? Может просто большие слишком и КХ их просто уже не трогает.
Парты мерджаться, и они не большие. Но хотелось бы чтобы они чаще мерджились, и не скапливались
A
Парты мерджаться, и они не большие. Но хотелось бы чтобы они чаще мерджились, и не скапливались
А заливаете данные батчами?
Как писали выше, проверьте метрики. Идут ли мержи?
Ну чтоб для начала понять, у вас они не успевают мержиться или даже мержи редко стартуют.
Как писали выше, проверьте метрики. Идут ли мержи?
Ну чтоб для начала понять, у вас они не успевают мержиться или даже мержи редко стартуют.
MG
Есть способ установить уникальный ключ на таблицу, чтобы записи с уже существующим значением не вставлялись? Я думал на PRIMARY KEY, но судя по доке, это другое.
E
Есть способ установить уникальный ключ на таблицу, чтобы записи с уже существующим значением не вставлялись? Я думал на PRIMARY KEY, но судя по доке, это другое.
можно например схлопывать этим
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/collapsingmergetree/
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/collapsingmergetree/
MG
можно например схлопывать этим
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/collapsingmergetree/
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/collapsingmergetree/
К сожалению, это немного не то. Мне надо перелить большую таблицу из хайва. Я запускаю копирование на множестве воркеров. Часть воркеров помирает и перезапускается кластером заново. Проблема в том, что до того, как погибнуть, воркеры успели что-то залить в клик. А клик не транзакционный, поэтому данные остаются. И когда воркер перезапускается и начинает лить заново, данные дублируются. Как раз этого я хочу избежать.
DT
Есть способ установить уникальный ключ на таблицу, чтобы записи с уже существующим значением не вставлялись? Я думал на PRIMARY KEY, но судя по доке, это другое.
Нет
DT
К сожалению, это немного не то. Мне надо перелить большую таблицу из хайва. Я запускаю копирование на множестве воркеров. Часть воркеров помирает и перезапускается кластером заново. Проблема в том, что до того, как погибнуть, воркеры успели что-то залить в клик. А клик не транзакционный, поэтому данные остаются. И когда воркер перезапускается и начинает лить заново, данные дублируются. Как раз этого я хочу избежать.
Пусть каждый воркер создаёт свою таблицу?
DT
Потом ты просто аттачнешь все нормальные парты в одну таблицу
MG
Пусть каждый воркер создаёт свою таблицу?
и дропать её при перезапуске?