Size: a a a

ClickHouse не тормозит

2021 March 10

K

KiLEX 萊赫 in ClickHouse не тормозит
Nikolay
Спасибо.А почему iSCSI выбрали ?
FC схд у нас флешовая, такой скорости для старых данных клика слишком много)
Оперативные данные на локальной SSD, исторические на iSCSI HDD схд
источник

N

Nikolay in ClickHouse не тормозит
KiLEX 萊赫
FC схд у нас флешовая, такой скорости для старых данных клика слишком много)
Оперативные данные на локальной SSD, исторические на iSCSI HDD схд
Много в смысле ,что жалко(дорого)  такой для КХ использовать ?
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Nikolay
Много в смысле ,что жалко(дорого)  такой для КХ использовать ?
Нецелесообразно, я бы сказал
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Nikolay
Много в смысле ,что жалко(дорого)  такой для КХ использовать ?
Жалко, дорого, да. Есть нагрузки которым более нужны эти ресурсы
источник

Puma Вольфович... in ClickHouse не тормозит
А почему кх может спамить  такие ошибки, инцидентов на шарде не было, лезут в еррор лог, и при этом очень сильно грузит кликхаус процессор, причем такую же проблему поймал на стейджинге, а там вообще из одной реплики кластер, перезагрузка кликхауса решает проблему, ничего потом в лог ошибок не пишется и непонятная нагрузка с процессора исчезает

2021.03.09 23:03:56.335753 [ 12540 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max b
lock as the missing part 20210121_20210121_493095_493115_2. Hoping that it will eventually appear as a result of a merge.
2021.03.09 23:03:56.335855 [ 12532 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Checking part 20210121_20210121_493066_493085_2
2021.03.09 23:03:56.336423 [ 12532 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 20210121_20210121_49
3066_493085_2.
источник

S

Slach in ClickHouse не тормозит
Puma Вольфович
А почему кх может спамить  такие ошибки, инцидентов на шарде не было, лезут в еррор лог, и при этом очень сильно грузит кликхаус процессор, причем такую же проблему поймал на стейджинге, а там вообще из одной реплики кластер, перезагрузка кликхауса решает проблему, ничего потом в лог ошибок не пишется и непонятная нагрузка с процессора исчезает

2021.03.09 23:03:56.335753 [ 12540 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max b
lock as the missing part 20210121_20210121_493095_493115_2. Hoping that it will eventually appear as a result of a merge.
2021.03.09 23:03:56.335855 [ 12532 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Checking part 20210121_20210121_493066_493085_2
2021.03.09 23:03:56.336423 [ 12532 ] {} <Warning> default.asks (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 20210121_20210121_49
3066_493085_2.
вы там парты случайно через clickhouse-backup при включенном сервере не восстанавливаете?
источник

Puma Вольфович... in ClickHouse не тормозит
нет, вообще не использую такую утилиту
источник

DN

Demetra Nadya in ClickHouse не тормозит
Что здесь происходит  во втором и третьем пункте
источник

DN

Demetra Nadya in ClickHouse не тормозит
источник

DN

Demetra Nadya in ClickHouse не тормозит
У меня докера нет, устанавливать его?
источник

Puma Вольфович... in ClickHouse не тормозит
Хочешь в докере запускать устанавливай, хочешь просто бинарник запускать не устанавливай
источник

S

Slach in ClickHouse не тормозит
Demetra Nadya
Что здесь происходит  во втором и третьем пункте
это два разных пункта
первый говорит что можете просто clickhouse-backup распаковать из releases
второй говорит что если не хочется распаковывать. можете через докер запустить

если нет докера не надо ничего ставить
просто распакуйте
и запускайте бинарник от того же пользователя от котого clickhouse-server крутится
источник

S

Slach in ClickHouse не тормозит
sudo -H -u clickhouse clickhouse-backup --help
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Добрый день, подскажите пожалуйста такой момент, есть таблица с движком Kafka для него надо отдельно настраивать сжатие? Т.е для сервера ch настроен механизм сжатия в конфиге, для таблиц движка Kafka надо отдельно прописать механизм сжатия в кофиге или как это делать правильно? Сейчас данные не сжимает для таблиц с движком Kafka, для остальных сжимает.
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
И может ли вообще работать движок Kafka со сжатыми данными.
источник

M

Mishanya in ClickHouse не тормозит
Вячеслав Ракицкий
Добрый день, подскажите пожалуйста такой момент, есть таблица с движком Kafka для него надо отдельно настраивать сжатие? Т.е для сервера ch настроен механизм сжатия в конфиге, для таблиц движка Kafka надо отдельно прописать механизм сжатия в кофиге или как это делать правильно? Сейчас данные не сжимает для таблиц с движком Kafka, для остальных сжимает.
а разве кафка движок хранит в себе данные ?
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Mishanya
а разве кафка движок хранит в себе данные ?
Да, вы правы, не совсем корректный вопрос. Получается это у меня в kafka данные не в сжатом виде хранятся
источник

DT

Dmitry Titov in ClickHouse не тормозит
здесь можно постить только clickhouse related вакансии.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Коллеги, добрый день!
Подскажите пожалуйста, есть ли какая-то возможность мониторить количество вставок таблицы кликхауса?

p.s. пишем данные в риалтайме через kafka-engine
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Vladimir Bunchuk
Коллеги, добрый день!
Подскажите пожалуйста, есть ли какая-то возможность мониторить количество вставок таблицы кликхауса?

p.s. пишем данные в риалтайме через kafka-engine
Можно повесить на таблицу MV, считать в ней количество прилетевших записей и писать куда-нибудь со временем вставки.
источник