Size: a a a

ClickHouse не тормозит

2020 July 02

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>а как ЗК заставить держать старые лог, а то они походу рестартуются иногда?
не понял вопроса
log ZK начинается с момента старта сервиса почему-то... (но эт может сетап кривой в systemd)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
Здравствуйте, коллеги! Возможно ли что при стресс-тестах по всему кластеру 2*2=4 при запросах типа селект, КХ начинает терять данные? У меня впечатление, что да... Причина пока не известна, но в детачах обнаруженно много брокен партиций. Может кто-то подскажет куда смотреть?
КХ падали ? (они рестартуют кроном)
источник

RO

Required Optional in ClickHouse не тормозит
нет не падали по идеее
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
нет не падали по идеее
select now() - uptime()
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
log ZK начинается с момента старта сервиса почему-то... (но эт может сетап кривой в systemd)
этого не знаю
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а сколько размер файла snapshot.91fb3f7b8 ?

зукиперы вообще обычно не падают, у меня аптайм >2 лет у ЗК
drwxrwxr-x 2   307 Jul  2 09:38 .
drwxrwxr-x 3    63 Jul  2 15:54 ..
-rw-r--r-- 1     1 Jun 12 00:10 acceptedEpoch
-rw-r--r-- 1     1 Jun 12 00:10 currentEpoch
-rw-r--r-- 1  140M Jul  1 19:56 snapshot.91e8cd70c
-rw-r--r-- 1  174M Jul  1 21:40 snapshot.91eb961d0
-rw-r--r-- 1  195M Jul  1 23:20 snapshot.91ed919af
-rw-r--r-- 1  214M Jul  2 00:43 snapshot.91ef51793
-rw-r--r-- 1  244M Jul  2 02:15 snapshot.91f1a6190
-rw-r--r-- 1  257M Jul  2 03:13 snapshot.91f34fdef
-rw-r--r-- 1  276M Jul  2 04:18 snapshot.91f4e1979
-rw-r--r-- 1  293M Jul  2 05:14 snapshot.91f683511
-rw-r--r-- 1  305M Jul  2 06:50 snapshot.91f8e645c
-rw-r--r-- 1  329M Jul  2 08:47 snapshot.91fb3f7b8

мелочи вроде
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
drwxrwxr-x 2   307 Jul  2 09:38 .
drwxrwxr-x 3    63 Jul  2 15:54 ..
-rw-r--r-- 1     1 Jun 12 00:10 acceptedEpoch
-rw-r--r-- 1     1 Jun 12 00:10 currentEpoch
-rw-r--r-- 1  140M Jul  1 19:56 snapshot.91e8cd70c
-rw-r--r-- 1  174M Jul  1 21:40 snapshot.91eb961d0
-rw-r--r-- 1  195M Jul  1 23:20 snapshot.91ed919af
-rw-r--r-- 1  214M Jul  2 00:43 snapshot.91ef51793
-rw-r--r-- 1  244M Jul  2 02:15 snapshot.91f1a6190
-rw-r--r-- 1  257M Jul  2 03:13 snapshot.91f34fdef
-rw-r--r-- 1  276M Jul  2 04:18 snapshot.91f4e1979
-rw-r--r-- 1  293M Jul  2 05:14 snapshot.91f683511
-rw-r--r-- 1  305M Jul  2 06:50 snapshot.91f8e645c
-rw-r--r-- 1  329M Jul  2 08:47 snapshot.91fb3f7b8

мелочи вроде
а почему выросло в два раза? т.е. база зукипера увеличилась в 2 раза
источник

RO

Required Optional in ClickHouse не тормозит
серваки с 15 июня стоят но данные потерялись
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а почему выросло в два раза? т.е. база зукипера увеличилась в 2 раза
а у него есть du?
там много чего было.
too many parts вставки
таски висели.
-
плюс есть ночью большие вставки
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а почему выросло в два раза? т.е. база зукипера увеличилась в 2 раза
может tickTime увеличить, это поможет ему стартануть?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
серваки с 15 июня стоят но данные потерялись
надо в логе читать почему они попали в broken
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
может tickTime увеличить, это поможет ему стартануть?
а в логе он пишет что-нибудь?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
может он не может достучаться до соседей?
источник

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
надо в логе читать почему они попали в broken
клиент вышлет - гляну.
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а в логе он пишет что-нибудь?
сдох на reading snapshot, жрет 100% CPU
источник

Д

ДружокСапожок... in ClickHouse не тормозит
Привет, хотел уточнить по тому же вопросу, а что будет если у меня вьюшка переносит все данные из оригинальной таблицы в себя (читай в .inner) как есть но с небольшим условием типа WHERE id != 0, и я повышу тип поля (например с int32 на int64) в исходной таблице до того как повышу тип во вьюшке и не вырубая входной поток данных.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
сдох на reading snapshot, жрет 100% CPU
может кривой файл (недописанный). Попробуйте kill -9 javа-е, mv этому снепшоту куда-нибудь и стартовать zk, он должен начать читать другой последний
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
может кривой файл (недописанный). Попробуйте kill -9 javа-е, mv этому снепшоту куда-нибудь и стартовать zk, он должен начать читать другой последний
спасибо, а сносить только этот снапшот или вообще все и дать ему скачать с других?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
спасибо, а сносить только этот снапшот или вообще все и дать ему скачать с других?
тот один конкретный
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ДружокСапожок
Привет, хотел уточнить по тому же вопросу, а что будет если у меня вьюшка переносит все данные из оригинальной таблицы в себя (читай в .inner) как есть но с небольшим условием типа WHERE id != 0, и я повышу тип поля (например с int32 на int64) в исходной таблице до того как повышу тип во вьюшке и не вырубая входной поток данных.
не знаю, я бы изменил select во вью на toInt32
источник