Size: a a a

ClickHouse не тормозит

2020 June 08

V

Vladimir in ClickHouse не тормозит
При чем в таблицах
metric_log,300
trace_log,300
query_thread_log,185
query_log,156

Я уже пробова их чистить, но набегает быстро
источник

V

Vladimir in ClickHouse не тормозит
И на данный момент(уже после чистки), они все отдают подобную ошибку при селекте
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Всем привет!

Выполняю джавой sql команду, получаю спустя ровно 5 минут
Timeout exceeded while reading from socket (XXX): while receiving packet from XXX
socket_timeout выставлен гораздо больше 5 минут, но все равно выкидывает на 5 минутах
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Есть еще send_timeout и receive_timeout - оно вообще в джава классе ClickHouseProperties не прокидывается
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Павел Прохоров
Всем привет!

Выполняю джавой sql команду, получаю спустя ровно 5 минут
Timeout exceeded while reading from socket (XXX): while receiving packet from XXX
socket_timeout выставлен гораздо больше 5 минут, но все равно выкидывает на 5 минутах
а socket_timeout нету-ли в jdbc урле ?
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а socket_timeout нету-ли в jdbc урле ?
я отдельно его прокидываю, не в урле
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Павел Прохоров
я отдельно его прокидываю, не в урле
я не это спросил
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
нет его в урле
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
При чем в таблицах
metric_log,300
trace_log,300
query_thread_log,185
query_log,156

Я уже пробова их чистить, но набегает быстро
это системные таблички, странно что они не успевают мержится, потому что они маленькие, их можно вообще выключить в config.xml если они не нужны
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это системные таблички, странно что они не успевают мержится, потому что они маленькие, их можно вообще выключить в config.xml если они не нужны
Да, я понимаю. Просто проблема не только на системных
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
Да, я понимаю. Просто проблема не только на системных
слишком часто пишете? или диск медленный ?
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
слишком часто пишете? или диск медленный ?
Нет, даже на сценарии 1000 в минуту ломается. Я сейчас не про мерж, а про file not found
источник

V

Vladimir in ClickHouse не тормозит
Мы никаких alter не делаем. Либо truncate, либо drop partition. И таблицы в какой-то момент начинают отдавать file not found
источник

V

Vladimir in ClickHouse не тормозит
Сдается мне даже если бы ты писали часто, то не должно быть file not found. И да, на 19.х.х таких проблем не было
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
Нет, даже на сценарии 1000 в минуту ломается. Я сейчас не про мерж, а про file not found
вообще-то рекомендуется делать не чаще одного инсерта в секунду в один инстанс КХ.
Я делаю 1 инсерт в минуту.
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вообще-то рекомендуется делать не чаще одного инсерта в секунду в один инстанс КХ.
Я делаю 1 инсерт в минуту.
Так и есть. Я неверно выразился. 1000 одним инсертом
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вообще-то рекомендуется делать не чаще одного инсерта в секунду в один инстанс КХ.
Я делаю 1 инсерт в минуту.
А что может быть file not found?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
А что может быть file not found?
какая там FS  ext4 ?
источник

V

Vladimir in ClickHouse не тормозит
Да
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
а field инсертится в insert или заполняется вычислением?

проверьте что у вас на всех серверах совпадают поля между MergeTree и Distributed
источник