В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3930 membersпожаловаться на группу
2020 May 27

S

Sergey in ClickHouse не тормозит
:) show grants;

SHOW GRANTS

┌─GRANTS───────────────────────┐
│ GRANT read_only TO analytics │
└──────────────────────────────┘

1 rows in set. Elapsed: 0.001 sec.
источник
06:46пожаловаться#1

S

Sergey in ClickHouse не тормозит
но конкретно на какие БД и какие типы прав не показывает
источник
06:46пожаловаться#2

СХ

Старый Хрыч... in ClickHouse не тормозит
А есть какой аналог TTL, но который не удаляет данные, а переносит данные из партиции для быстрых данных, в партиции для архивных?
источник
08:49пожаловаться#3

S

Slach in ClickHouse не тормозит
Старый Хрыч
А есть какой аналог TTL, но который не удаляет данные, а переносит данные из партиции для быстрых данных, в партиции для архивных?
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
TO VOLUME

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes
clickhouse.tech
MergeTree - ClickHouse Documentation
MergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
источник
08:54пожаловаться#4

СХ

Старый Хрыч... in ClickHouse не тормозит
Slach
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
TO VOLUME

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes
clickhouse.tech
MergeTree - ClickHouse Documentation
MergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
не дочитал оказывается.
но вопрос возник такой.
он данные после переноса сразу чистит, или же во время мержа и сжатия?
То есть если говорим про удаление понятно, мерж+сжатие так и написано, а вот с переносом что, всё равно ждём мержа и сжатия?
источник
09:01пожаловаться#5

СХ

Старый Хрыч... in ClickHouse не тормозит
😐честно сказать я по факту сейчас думаю, как лучше объяснить, что архивные и свежие данные лучше хранить на разных кластерах, а не в разных партициях
источник
09:03пожаловаться#6

S

Shazo in ClickHouse не тормозит
По общей логики скорее всего перенесенные парты он на старом месте помечает как не активные и в фоне удаляет, по умолчанию ~10мин.
источник
09:07пожаловаться#7

AM

Alexander Malikov in ClickHouse не тормозит
Alexander Malikov
правильно ли я понял, что если таблица реплицирована в старом синтаксисе, то
1. нельзя просто так взять и перевести её (их) на новый
2. нельзя это сделать постепенно, для каждой реплики - нужно создавать новую таблицу в zk и в неё селект-инсертить
3. именно селект-инсертить, а никак не аттачить партиции (потому что логика деления на партиции для таблиц "в старом синтаксисе криейта" устарела)
добрый день
прокомментируйте, плиз, кто знает?
если укоротить вопрос, то "какой правильный способ перевести таблицу в новый формат криейта?"
но лучше не укорачивать, если возможно :)
источник
09:08пожаловаться#8

СХ

Старый Хрыч... in ClickHouse не тормозит
Shazo
По общей логики скорее всего перенесенные парты он на старом месте помечает как не активные и в фоне удаляет, по умолчанию ~10мин.
ну то есть мы ждём аналога компактизации
источник
09:09пожаловаться#9

S

Shazo in ClickHouse не тормозит
Alexander Malikov
добрый день
прокомментируйте, плиз, кто знает?
если укоротить вопрос, то "какой правильный способ перевести таблицу в новый формат криейта?"
но лучше не укорачивать, если возможно :)
Если изменилось партиционирование, то только INSERT FROM SELECT видимо.
источник
09:11пожаловаться#10

S

Shazo in ClickHouse не тормозит
Старый Хрыч
😐честно сказать я по факту сейчас думаю, как лучше объяснить, что архивные и свежие данные лучше хранить на разных кластерах, а не в разных партициях
наверное из запрсоов, если часто нужен общий запрос как по свежим, так и по старым данным, то разносить меньше смысла.
источник
09:12пожаловаться#11

СХ

Старый Хрыч... in ClickHouse не тормозит
Shazo
наверное из запрсоов, если часто нужен общий запрос как по свежим, так и по старым данным, то разносить меньше смысла.
🙄я просто за процессорное время не уверен, nvme по шине отдают быстро, и тут приходит тяжёлый запрос по архивным
источник
09:13пожаловаться#12

СХ

Старый Хрыч... in ClickHouse не тормозит
и проц ждёт долго ввод вывод
источник
09:14пожаловаться#13

СХ

Старый Хрыч... in ClickHouse не тормозит
а кол-во данных во много раз больше оперативы, да и индексы в оперативу на проде возможно влезать не будут
источник
09:14пожаловаться#14

S

Shazo in ClickHouse не тормозит
он всё равно по партам же обрабатывает.
Можно для таких запросов выставлять меньше число потоков, будет дольше но другим останется.
https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-max_threads
clickhouse.tech
Settings - Документация ClickHouse
Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с
источник
09:16пожаловаться#15

S

Shazo in ClickHouse не тормозит
Конечно всё зависит от объемов, если даже есть предположение что индекс не вместится. Тут вам виднее ваш профиль нагрузки.
источник
09:17пожаловаться#16

СХ

Старый Хрыч... in ClickHouse не тормозит
Shazo
он всё равно по партам же обрабатывает.
Можно для таких запросов выставлять меньше число потоков, будет дольше но другим останется.
https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-max_threads
clickhouse.tech
Settings - Документация ClickHouse
Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с
😐интересно как в 30-40 раз оверсейлить потоки
источник
09:19пожаловаться#17

AM

Alexander Malikov in ClickHouse не тормозит
Shazo
Если изменилось партиционирование, то только INSERT FROM SELECT видимо.
ну оно на мой взгляд не изменилось, но у кликхауса может быть дргуое мнение
раньше оно было по полю date в старом формате
а теперь планируется PARTITION BY toYYYYMM(date)

это считается изменением партицирования?
источник
09:21пожаловаться#18

S

Shazo in ClickHouse не тормозит
Alexander Malikov
ну оно на мой взгляд не изменилось, но у кликхауса может быть дргуое мнение
раньше оно было по полю date в старом формате
а теперь планируется PARTITION BY toYYYYMM(date)

это считается изменением партицирования?
проверьте по sytem.parts изменились ли partition id и partition в старом и новом формате.

Сам не мигрировал так из старого формата, гадаю. Но проверил бы эти параметры. Если нет, то скопирировал и попробовал бы приатачить просто, стало бы сразу ясно.
источник
09:28пожаловаться#19

S

Slach in ClickHouse не тормозит
Старый Хрыч
не дочитал оказывается.
но вопрос возник такой.
он данные после переноса сразу чистит, или же во время мержа и сжатия?
То есть если говорим про удаление понятно, мерж+сжатие так и написано, а вот с переносом что, всё равно ждём мержа и сжатия?
все TLL выражения вычисляются во время Merge
TO VOLUME
это просто условие что делать с данными которые с TTL сработали
источник
09:39пожаловаться#20