480

Ну, двух хватит, это если из головы, а на самом деле зависит все от запросов и данных.

Запросы примерно такие: вытащить n интов (where in (select id from bigtable)

Запускаете запросы целевые. Смотрите стату по скорости чтения и объёме данных (достаточно той которую даёт clickhouse-client) берёте желаемый qps и делите одно на другое. А пока это слишком абстрактный вопрос. Ответ на него 43.

Спасибо

Мне пока что больше всего нравится число 60 для количества шардов (и/или таблиц, что в целом почти одно и то же), если не можете сразу определиться с тем, сколько шардов Вам понадобится

Потому что это количество можно распределить по 1,2,3,4,5,6,10,12,20,30 и 60 серверам (плюс реплики)

то есть, особенно поначалу, когда не очень известно, сколько действительно шардов нужно, расти можно очень плавно

А ещё можно вручную менять вес шардов при записи и спокойно заполнять новые шарды данными, хотя возможно я чего-то не понимаю в шардировании. без привязки к определенному количеству

Можно. Но может так получиться, что у Вас на одних шардах данные в основном более старые (а значит более «холодные»), а на других более новые (более «горячие»), и нагрузка на них сильно отличается. В зависимости от характера данных, шардирование по остатку деления от пользователя (или какого-нибудь схожего поля) может давать лучшие результаты в плане равномерности, хотя и может быть нужно периодически мигрировать данные.

(и если число шардов взять сразу с запасом, например 60, то можно весьма долго не беспокоиться о том, чтобы перейти на другую схему шардирования, которая работала бы лучше в ваших конкретных условиях)

(на одном сервере в целом можно держать много шардов, это не запрещено :))

(и переносить таблицы между серверами простой репликацией)

Удобство использования встроенных констант. Вместо {shard}(или двухуровневое {layer}_{shard) можно использовать конечно вручную поставляемое значение, но это больше разных баз на хосте, больше разных таблиц, больше maintenance операций. Пока на моей практике получалось переживать неравномерность загрузки шардов после введения в строй нового шарда, но кому-то этот вариант не подойдёт, но заранее усложнять не хочется

надо делать select id from bigtable where id in .... и шардить по id

так можно макросов сколько угодно сделать shard_clusterx , shard_clusterb, shard_clusterz

Народ, запускаю обычный docker-compose контейнер
image: docker.io/yandex/clickhouse-server:latest

пользователь default
SHOW GRANTS;
получаю

GRANT SHOW, SELECT, INSERT, ALTER, CREATE, DROP, TRUNCATE, OPTIMIZE, KILL QUERY, SYSTEM, dictGet, INTROSPECTION, SOURCES ON *.* TO default

Делаю
SHOW USERS;
получаю

Received exception from server (version 20.5.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW USERS ON *.*.

пытаюсь покифсить

GRANT SHOW USERS ON *.* TO CURRENT_USER;
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW USERS ON *.* WITH GRANT OPTION.

пытаюсь пофиксить повторно

CREATE ROLE OR REPLACE root
Received exception from server (version 20.5.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant CREATE ROLE ON *.*.

я правильно понимаю что с такими правами я никаких GRANT \ REVOKE сделать не могу?
что-то как то напутано с секьюрити по моему очень сильно стало

как решать то?

GRANT SHOW, SELECT, INSERT, ALTER, CREATE, DROP, TRUNCATE, OPTIMIZE, KILL QUERY, SYSTEM, dictGet, INTROSPECTION, SOURCES ON *.* TO default

Received exception from server (version 20.5.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW USERS ON *.*.

GRANT SHOW USERS ON *.* TO CURRENT_USER;
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW USERS ON *.* WITH GRANT OPTION.

CREATE ROLE OR REPLACE root
Received exception from server (version 20.5.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant CREATE ROLE ON *.*.

ответ тут https://github.com/ClickHouse/ClickHouse/issues/12950#issuecomment-664574343

Всем привет

в новых версиях убрали max_memory_usage  ?