Size: a a a

ClickHouse не тормозит

2020 July 02

Р

Рустам in ClickHouse не тормозит
Alexander Zaitsev
Так что в версиях нет пока
А я в repo.clickhouse.tech смотрел, но это кажись дата заливки?
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
А в зукипере есть ошибки в логах?
да, один из ЗК нодов рестартанулся судя по всему
2020-07-02 10:15:49,954 [myid:] - INFO  [main:QuorumPeerConfig@135] - Reading configuration from: /data01/zookeeper/zookeeper/bin/../conf/zoo.cfg
....
2020-07-02 10:15:50,199 [myid:5] - INFO  [main:FileSnap@83] - Reading snapshot /data01/zookeeper/data/version-2/snapshot.91fb59cf8
2020-07-02 10:22:02,461 [myid:5] - ERROR [main:Util@211] - Last transaction was partial.
ещё ошибка на другом ноде
2020-07-02 10:22:09,378 [myid:5] - INFO  [QuorumPeer[myid=5](plain=[0:0:0:0:0:0:0:0]:2181)(secure=disabled):FastLeaderElection@885] - New election. My id =  5, proposed zxid=0x91fbc7c4c
2020-07-02 10:22:10,640 [myid:5] - WARN  [WorkerSender[myid=5]:QuorumCnxManager@685] - Cannot open channel to 4 at election address hostname06/10.10.10.106:3881
java.net.ConnectException: Connection refused (Connection refused)
источник

SC

Smoked Cheese in ClickHouse не тормозит
Рустам
А я в repo.clickhouse.tech смотрел, но это кажись дата заливки?
дата релиза не связана с фактом что фикс не бекпортировали в более старую версию
источник

Р

Рустам in ClickHouse не тормозит
Smoked Cheese
дата релиза не связана с фактом что фикс не бекпортировали в более старую версию
А как узнать наверняка?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Рустам
А как узнать наверняка?
посмотреть в каких тегах этот коммит присутствует
источник

Р

Рустам in ClickHouse не тормозит
Smoked Cheese
посмотреть в каких тегах этот коммит присутствует
Получается в стабильных версиях его нет?
источник

PV

Pavel Vavilov in ClickHouse не тормозит
Коллеги, приветствую!

Возник вопрос: а поменять гранулярность PARTIONING таблицы через ALTER возможно? Не могу найти в доке. Задача PARTITIONING с дней поменять на месяцы.
То бишь, PARTITION BY toYYYYMMDD(s_date) поменять на PARTITION BY toYYYYMM(s_date)

Понятно, что можно сделать миграцию данных через другую таблицу, но вдруг можно просто заальтерить.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рустам
А я в repo.clickhouse.tech смотрел, но это кажись дата заливки?
его портировали в 20.5 поэтому я писал про 20.5 prestable и 20.6
https://github.com/ClickHouse/ClickHouse/pull/11961
источник

Р

Рустам in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
его портировали в 20.5 поэтому я писал про 20.5 prestable и 20.6
https://github.com/ClickHouse/ClickHouse/pull/11961
Получается надо подождать любой 20.5 stable версии в repo, если я не хочу не stable варианты?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
его портировали в 20.5 поэтому я писал про 20.5 prestable и 20.6
https://github.com/ClickHouse/ClickHouse/pull/11961
последний релиз 20.5 престейбла был 10 дней назад, а бекпорты смержили 7 дней назад
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рустам
Получается надо подождать любой 20.5 stable версии в repo, если я не хочу не stable варианты?
если вы пишете новый свежий софт, то берите 20.6
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavel Vavilov
Коллеги, приветствую!

Возник вопрос: а поменять гранулярность PARTIONING таблицы через ALTER возможно? Не могу найти в доке. Задача PARTITIONING с дней поменять на месяцы.
То бишь, PARTITION BY toYYYYMMDD(s_date) поменять на PARTITION BY toYYYYMM(s_date)

Понятно, что можно сделать миграцию данных через другую таблицу, но вдруг можно просто заальтерить.
нет
источник

Р

Рустам in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если вы пишете новый свежий софт, то берите 20.6
Понял, спасибо
источник

PV

Pavel Vavilov in ClickHouse не тормозит
Спасибо, понял.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
да, один из ЗК нодов рестартанулся судя по всему
2020-07-02 10:15:49,954 [myid:] - INFO  [main:QuorumPeerConfig@135] - Reading configuration from: /data01/zookeeper/zookeeper/bin/../conf/zoo.cfg
....
2020-07-02 10:15:50,199 [myid:5] - INFO  [main:FileSnap@83] - Reading snapshot /data01/zookeeper/data/version-2/snapshot.91fb59cf8
2020-07-02 10:22:02,461 [myid:5] - ERROR [main:Util@211] - Last transaction was partial.
ещё ошибка на другом ноде
2020-07-02 10:22:09,378 [myid:5] - INFO  [QuorumPeer[myid=5](plain=[0:0:0:0:0:0:0:0]:2181)(secure=disabled):FastLeaderElection@885] - New election. My id =  5, proposed zxid=0x91fbc7c4c
2020-07-02 10:22:10,640 [myid:5] - WARN  [WorkerSender[myid=5]:QuorumCnxManager@685] - Cannot open channel to 4 at election address hostname06/10.10.10.106:3881
java.net.ConnectException: Connection refused (Connection refused)
oom ?

возможно все проблемы следствия падения зк, но я такого не видел, это какие-то новые проблемы
источник

RO

Required Optional in ClickHouse не тормозит
Здравствуйте, коллеги! Возможно ли что при стресс-тестах по всему кластеру 2*2=4 при запросах типа селект, КХ начинает терять данные? У меня впечатление, что да... Причина пока не известна, но в детачах обнаруженно много брокен партиций. Может кто-то подскажет куда смотреть?
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
oom ?

возможно все проблемы следствия падения зк, но я такого не видел, это какие-то новые проблемы
/var/log/messages закрыт, но судя по мониторингу zabbix машина память не кушала (12GB / 16GB).


а как ЗК заставить держать старые лог, а то они походу рестартуются иногда?

ещё сейчас один из нодов жрет СПУ как не в себя,  не стартует, висит на

2020-07-02 15:47:33,820 [myid:4] - INFO  [main:FileSnap@83] - Reading snapshot /data01/zookeeper/data/version-2/snapshot.91fb3f7b8
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
/var/log/messages закрыт, но судя по мониторингу zabbix машина память не кушала (12GB / 16GB).


а как ЗК заставить держать старые лог, а то они походу рестартуются иногда?

ещё сейчас один из нодов жрет СПУ как не в себя,  не стартует, висит на

2020-07-02 15:47:33,820 [myid:4] - INFO  [main:FileSnap@83] - Reading snapshot /data01/zookeeper/data/version-2/snapshot.91fb3f7b8
а сколько размер файла snapshot.91fb3f7b8 ?

зукиперы вообще обычно не падают, у меня аптайм >2 лет у ЗК
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
/var/log/messages закрыт, но судя по мониторингу zabbix машина память не кушала (12GB / 16GB).


а как ЗК заставить держать старые лог, а то они походу рестартуются иногда?

ещё сейчас один из нодов жрет СПУ как не в себя,  не стартует, висит на

2020-07-02 15:47:33,820 [myid:4] - INFO  [main:FileSnap@83] - Reading snapshot /data01/zookeeper/data/version-2/snapshot.91fb3f7b8
>а как ЗК заставить держать старые лог, а то они походу рестартуются иногда?
не понял вопроса
источник

K

Kos in ClickHouse не тормозит
не подскажете в чем может быть проблема. перестали данные писать, и запросы к таблице падают некоторые
2020.07.02 12:48:49.504775 [ 13 ] {} <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 87, e.displayText() = DB::ErrnoException: Cannot seek through file /srv/clickhouse/data/stats/events/20200624_20200625_8327373_8343593_4733/uid.bin, errno: 22, strerror: Invalid argument: (while reading column uid): (while reading from part /srv/clickhouse/data/stats/events/20200624_20200625_8327373_8343593_4733/ from mark 0 with max_rows_to_read = 8192), Stack trace:
источник