Size: a a a

ClickHouse не тормозит

2020 July 28

SO

Sergo Ostro in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ключевые столбцы определяются селектами, которых что очевидно я не знаю

подозреваю что id это id бумаги и будут запросы типа посчитать что-то по бумаге такой-то

то тогда partition by toYYYYMM(toDateTime(utc_date)) order by (id, utc_date)

utc_date - это что? время? ну и храните DateTime
спасибо большое, начал по немного понимать, постараюсь правильно определить селекты надеюсь все получится)
источник

T

Tony in ClickHouse не тормозит
Всем добрый вечер. Подскажите, как правильнее остановить и запустить кликхаус, чтобы сделать ребут системы?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Tony
Всем добрый вечер. Подскажите, как правильнее остановить и запустить кликхаус, чтобы сделать ребут системы?
service clickhose-server stop
источник

T

Tony in ClickHouse не тормозит
Спасибо. Просто думал вдруг при остановке сервиса что-то пойдет не так
источник
2020 July 29

AB

Artur Beglaryan in ClickHouse не тормозит
Добрый вечер. Не подскажите как понять, почему кликхаус жрет 100+ GB оперативки? данные пишуться в 5 таблиц с разной частотой(1-5 мин) большими кусками. Словари в сумме  300MB,  sum(primary_key_bytes_in_memory) 50МБ. Активно никто не читает, мержей нету. Дроп марк кэш сделал. Не могу понять в какую сторону смотреть. Рестарт на ночь глядя не хочется делать. Версия 20.3.11.97
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
всем доброй ночи, я правильно понимаю что КХ не видит ЗК
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artur Beglaryan
Добрый вечер. Не подскажите как понять, почему кликхаус жрет 100+ GB оперативки? данные пишуться в 5 таблиц с разной частотой(1-5 мин) большими кусками. Словари в сумме  300MB,  sum(primary_key_bytes_in_memory) 50МБ. Активно никто не читает, мержей нету. Дроп марк кэш сделал. Не могу понять в какую сторону смотреть. Рестарт на ночь глядя не хочется делать. Версия 20.3.11.97
А 100гб вы как наблюдаете? RSS в top?
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
А 100гб вы как наблюдаете? RSS в top?
На сервере только кликхаус. htop/top  почти 59%. На сервере 256 ГБ оперативки
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
всем доброй ночи, я правильно понимаю что КХ не видит ЗК
Нет это не про зукипер. Не вижу ошибки от первого трейса
источник

AB

Artur Beglaryan in ClickHouse не тормозит
ничего криминального вроде не делали, сегодня случайно увидел. Вроде уже 10 дней так.
processlist тоже пустой
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нет это не про зукипер. Не вижу ошибки от первого трейса
@den_crane 2020.07.28 21:15:52.009383 [ 71637 ] {} <Error> users: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No message received, Stack trace (when copying this message, always include the lines below):
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artur Beglaryan
На сервере только кликхаус. htop/top  почти 59%. На сервере 256 ГБ оперативки
А какая версия кх? И за какое время столько наел?А запросы system.processes сколько суммарно memory used?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane 2020.07.28 21:15:52.009383 [ 71637 ] {} <Error> users: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No message received, Stack trace (when copying this message, always include the lines below):
Кмк это реплика пытается скачать парт. Посмотрите на других репликах. А вообще проблемы есть или только ошибка?
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
А какая версия кх? И за какое время столько наел?А запросы system.processes сколько суммарно memory used?
ClickHouse client version 20.3.11.97 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.3.11 revision 54433.


как я понял последние 10 дней в таком состоянии

SELECT sum(memory_usage)
FROM system.processes

┌─sum(memory_usage)─┐
│                 0 │
└───────────────────┘

1 rows in set. Elapsed: 0.001 sec.


ещё по max_memory_usage поставлен на 100ГБ, для  тестов, но от него же не может быть такого
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Кмк это реплика пытается скачать парт. Посмотрите на других репликах. А вообще проблемы есть или только ошибка?
да пока вроде селекты делаем ок
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Алексей Артамонов
да пока вроде селекты делаем ок
@den_crane я так и подумалл что КХ не может выкачать парт
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
да пока вроде селекты делаем ок
А реплики далеко  у вас?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
в другой сети и через впн, я перезапустилл впн и видимо появилась данная проблема и ошибка
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artur Beglaryan
ClickHouse client version 20.3.11.97 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.3.11 revision 54433.


как я понял последние 10 дней в таком состоянии

SELECT sum(memory_usage)
FROM system.processes

┌─sum(memory_usage)─┐
│                 0 │
└───────────────────┘

1 rows in set. Elapsed: 0.001 sec.


ещё по max_memory_usage поставлен на 100ГБ, для  тестов, но от него же не может быть такого
Может таблицы с engine memory? Или engine join. Или engine buffer
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
в другой сети и через впн, я перезапустилл впн и видимо появилась данная проблема и ошибка
Есть параметр http connect timeout я его ставлю 15 (секунд) в профиль default если реплики в другой сети

Это сильно понижает кол-во таких ошибок. Но на самом деле это ни на что не влияет. Кх пытается скачать парт, получает тайм-аут и пытается снова в другом коннекте. А реплика с которой качают пишет такое сообщение для коннекта с таймаутом
источник