DC
Добрый день. Dictionary на 80млн строк и 3,5 ГБ это плохо?
нет, это ОК. У меня и 25ГБ Озу жрали и ничего
Size: a a a
2021 March 10
K
3.5 на диске?
В КХ
VS
Добрый день. Dictionary на 80млн строк и 3,5 ГБ это плохо?
Если у Вас 1ТБ оперативки то нет 🙂
K
нет, это ОК. У меня и 25ГБ Озу жрали и ничего
спс, запилю тогда, сравню с джойном
K
Vladyslav Sakun
Если у Вас 1ТБ оперативки то нет 🙂
почему 1 ТБ?
DC
В КХ
вас не про это спрашивали. Если таблица в КХ размером 3.5 ГБ , то в памяти это 350ГБ словарь легко
D
нет, это ОК. У меня и 25ГБ Озу жрали и ничего
Norma
DC
Всем привет!
Видел что уже сталкивались с разными segfault.
На одном узле, во время рестарта clickhouse-server возник и у меня. И теперь никак не хочет стартовать.
Но не могу найти проблем. В dmesg ничего, в event логе iDRAC тоже пусто.
Может кто-то сталкивался с этим segfault?
Видел что уже сталкивались с разными segfault.
На одном узле, во время рестарта clickhouse-server возник и у меня. И теперь никак не хочет стартовать.
Но не могу найти проблем. В dmesg ничего, в event логе iDRAC тоже пусто.
Может кто-то сталкивался с этим segfault?
<Fatal> BaseDaemon: ########################################
<Fatal> BaseDaemon: (version 21.1.6.13 (official build), build id: 896DF0AF4B2C9E1BEE4965CB71D7D71CB7C64C10) (from thread 3219904) (no query) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
<Fatal> BaseDaemon: Stack trace: 0x87a835d 0x7f8d408923c0
<Fatal> BaseDaemon: 0. ? @ 0x87a835d in /usr/bin/clickhouse
<Fatal> BaseDaemon: 1. ? @ 0x153c0 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
<Fatal> BaseDaemon: Checksum of the binary: C68C343B82ED45C8357E8A61A37FE0DC, integrity check passed.
запустите без сервиса,
sudo -u clickhouse clickhouse-server --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config-file=/etc/clickhouse-server/config.xml
и на экране вы увидите нормальный трейс
sudo -u clickhouse clickhouse-server --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config-file=/etc/clickhouse-server/config.xml
и на экране вы увидите нормальный трейс
VS
почему 1 ТБ?
Это был отсыл к тому, что если у Вас есть возможность выделять достаточное количество оперативной памяти, то это нормально
A
Добрый день. Появился ли аналог range_hashed словаря с составным ключом? быстрый поиск говорит, что нет. Есть какие-либо паттерны как привести составной ключ к единому ключу pk?
DC
Александр Загребельный
Добрый день.
Возможно ли в будущем такое расширение функциональности: представление с параметром, как на рисунке ?
Возможно ли в будущем такое расширение функциональности: представление с параметром, как на рисунке ?
да, тут через custom settings это возможно
DC
Добрый день. Появился ли аналог range_hashed словаря с составным ключом? быстрый поиск говорит, что нет. Есть какие-либо паттерны как привести составной ключ к единому ключу pk?
complex_key_hashed, всегда был, лет 5 уже
A
complex_key_hashed, всегда был, лет 5 уже
мне нужен функционал range_hashed со схлопыванием строк по датам
DC
мне нужен функционал range_hashed со схлопыванием строк по датам
аа я понял, тогда нету , ну я делаю cityhash64( от составного ключа )
В
запустите без сервиса,
sudo -u clickhouse clickhouse-server --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config-file=/etc/clickhouse-server/config.xml
и на экране вы увидите нормальный трейс
sudo -u clickhouse clickhouse-server --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config-file=/etc/clickhouse-server/config.xml
и на экране вы увидите нормальный трейс
Понял
Оно сейчас поднялось, лучше не буду лишний раз трогать.
Как высплывет воспользуюсь советом.
Спасибо!
Оно сейчас поднялось, лучше не буду лишний раз трогать.
Как высплывет воспользуюсь советом.
Спасибо!
A
понял, спасибо
ИМ
так этот параметр не влияет на потери напрямую, он просто заставляет insert ждать пока инсерт будет пропехнут в нижележащие таблицы
А что будет в таком сценарии:
1. вставляем блок
2. distributed распиливает блок попалам для двух шардов
3. вставляет в шард 1 - ок
4. вставляет в шард 2 - таймаут
1. вставляем блок
2. distributed распиливает блок попалам для двух шардов
3. вставляет в шард 1 - ок
4. вставляет в шард 2 - таймаут
СК
добрый день
делаю как в примере
https://clickhouse.tech/docs/ru/engines/table-engines/integrations/rabbitmq/
CREATE TABLE queue ( key UInt64,
value UInt64 ) ENGINE = RabbitMQ SETTINGS rabbitmq_host_port = '10.1.2.202:5672',
rabbitmq_exchange_name = 'exchange',
rabbitmq_exchange_type = 'headers',
rabbitmq_routing_key_list = 'format=logs,type=report,year=2020',
rabbitmq_format = 'JSONEachRow',
rabbitmq_num_consumers = 5;
выдает ошибку
SQL Error [540]: ClickHouse exception, code: 540, host: 10.1.2.163, port: 8123; Code: 540, e.displayText() = DB::Exception: Unable to declare sharding exchange (exchange_skta_test_queue). Reason: COMMAND_INVALID - unknown exchange type 'x-consistent-hash' (version 20.11.3.3 (official build))
при этом в рэбите создаются Exchange:
exchange и exchange_skta_test_queue_bridge
и таблица создается
делаю как в примере
https://clickhouse.tech/docs/ru/engines/table-engines/integrations/rabbitmq/
CREATE TABLE queue ( key UInt64,
value UInt64 ) ENGINE = RabbitMQ SETTINGS rabbitmq_host_port = '10.1.2.202:5672',
rabbitmq_exchange_name = 'exchange',
rabbitmq_exchange_type = 'headers',
rabbitmq_routing_key_list = 'format=logs,type=report,year=2020',
rabbitmq_format = 'JSONEachRow',
rabbitmq_num_consumers = 5;
выдает ошибку
SQL Error [540]: ClickHouse exception, code: 540, host: 10.1.2.163, port: 8123; Code: 540, e.displayText() = DB::Exception: Unable to declare sharding exchange (exchange_skta_test_queue). Reason: COMMAND_INVALID - unknown exchange type 'x-consistent-hash' (version 20.11.3.3 (official build))
при этом в рэбите создаются Exchange:
exchange и exchange_skta_test_queue_bridge
и таблица создается
ИМ
Добрый день. Dictionary на 80млн строк и 3,5 ГБ это плохо?
У нас есть гораздо большие словари, работает отлично. Главное чтоб в оперативу влазили