Телеграмм чат группы clickhouse

Конфиги оставил старые во время обновления

Dmitry Titov in ClickHouse не тормозит

21:21пожаловаться #1

Nikita Zakharov

Всем привет.
Обновил КХ с 20.8 до 21.3.
На 20.8 было занято 35GB/252GB RAM, после рестарта держится 91GB/252GB RAM. Сейчас внешней акстивности на сервере нет. Есть внешние словари, которые уже загрузились, но оператива не освободилась. В логах видно, что КХ делает что-то с партами. После окончания работы с ними, оператива должна упасть? Или из-за чего такое могло произойти?

select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
    database,
    name,
    formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
    initial_query_id,
    formatReadableSize(memory_usage),
    formatReadableSize(peak_memory_usage),
    query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

Sitrix Тарасов Иван... in ClickHouse не тормозит

21:24пожаловаться #2

SТ

Привет! Есть кто настраивал получение данных из rabbitmq через движок клика? Постоянная ошибка при создании таблицы

21:25пожаловаться #3

Dj in ClickHouse не тормозит

Vladislav Ross

добрый вечер
хочется мониторить какие таблицы больше всего мержатся
нормально ли каждый 5 секунд делать select * from system.merges? это не повредит производительности?
или лучше включить какой-нибудь part_log?

Part log более детерминированно и поллить не надо

21:27пожаловаться #4

select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
    database,
    name,
    formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
    initial_query_id,
    formatReadableSize(memory_usage),
    formatReadableSize(peak_memory_usage),
    query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

Вижу что это все словари занимают. Сейчас попробую сравнить со словарями на другом сервере.

21:27пожаловаться #5

select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
    database,
    name,
    formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
    initial_query_id,
    formatReadableSize(memory_usage),
    formatReadableSize(peak_memory_usage),
    query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

18млн записей в словаре на 21.3 занимають 4 GiB :(
180млн записей в словаре на 20.8 занимають 8 GiB

21:31пожаловаться #6

Прошу прощения, ошибку допустил, уже исправил 👆

Dmitry Titov in ClickHouse не тормозит

21:32пожаловаться #7

Nikita Zakharov

18млн записей в словаре на 21.3 занимають 4 GiB :(
180млн записей в словаре на 20.8 занимають 8 GiB

LAYOUT словарей одинаковый?
И данные в них?

Dmitry Titov in ClickHouse не тормозит

21:33пожаловаться #8

Sitrix Тарасов Иван

Кто то настраивал, кто то пользуется, по поводу ошибки мы должны таки догадаться какая она у вас?

Sitrix Тарасов Иван... in ClickHouse не тормозит

21:34пожаловаться #9

SТ

LAYOUT словарей одинаковый?
И данные в них?

Code: 36, e.displayText() = DB::Exception: Failed to declare queue. Probably queue settings are conflicting: max_block_size, deadletter_exchange. Attempt specifying differently those settings or use a different queue_base or manually delete previously declared queues, which were declared with the same names. ERROR reason: connection lost (version 21.2.5.5 (official build))

21:36пожаловаться #10