Size: a a a

ClickHouse не тормозит

2021 February 25

S

Slach in ClickHouse не тормозит
может сам AggregatingMergeTree что-то триггерит?

volume_policy не используете?
источник

A

Assasin in ClickHouse не тормозит
Сейчас гляну
источник

A

Assasin in ClickHouse не тормозит
Да нет, default пишет
источник

A

Assasin in ClickHouse не тормозит
Slach
может сам AggregatingMergeTree что-то триггерит?

volume_policy не используете?
> может сам AggregatingMergeTree что-то триггерит?

А как это посмотреть? В документации на сайте вроде ничего необычного про него не пишут
источник

S

Slach in ClickHouse не тормозит
ну так то да он не должен сам триггерить
там обычные мержи при вставке должны триггериться

не знаю как посмотреть
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
а никто случайно ничего не знает про команду ATTACH TABLE <table_name> UUID '<uuid>' ?
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
что она делает?
источник

S

Slach in ClickHouse не тормозит
это ATTACH TABLE для Atomic движка
источник

A

Assasin in ClickHouse не тормозит
Slach
ну так то да он не должен сам триггерить
там обычные мержи при вставке должны триггериться

не знаю как посмотреть
Понял. Ладно, спасибо! Буду пробовать брутфорсом докапываться до причины, может дело в каких-то конкретных полях структуры таблицы.
источник

NO

Nikita Orlov in ClickHouse не тормозит
Эпично что это в чате кликхауса
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
чего только Яндекс в кликхауз не добавил...
источник

DP

Dmitry Parfenov in ClickHouse не тормозит
/stat@combot
источник

C

Combot in ClickHouse не тормозит
Total messages: 206141
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Assasin
Привет! Столкнулся с очень странным поведением кликхауса на версии 20.8.2.3, в какой-то момент по неизвестным причинам кликхаус постоянно начал занимать в фоне половину ресурсов CPU. Оказалось дело в непрекращающихся фоновых мержах для материальной вьюхи. Пробовал делать копию базы и запускал ее вообще без нагрузки (вообще без вставок в БД), также обновил до 21.2.3.15 - ничего не помогло. Постоянные мержи выглядят очень странно, даже в отсутствии вставок в таблицы, мерж происходит будто бы по кругу, одни и те же части мержатся снова и снова, при этом проверка целостности таблицы говорит, что все ок.
Подскажите, пожалуйста, что может в принципе триггерить мерж в кликхаусе? Что может триггерить мерж именно для вьюх в отсутствии вставок в БД вовсе?
Если нужно, параметры материальной вьюхи:
ENGINE = AggregatingMergeTree
PARTITION BY toYYYYMM(date)
SETTINGS index_granularity = 8192
Создайте ишшью и приложите логи https://github.com/ClickHouse/ClickHouse/issues
источник

TS

Timur Sabirov in ClickHouse не тормозит
всем привет, где то читал что много таблиц в кх это антипаттерн, киньте плиз ссылку на доку или обсуждение где это обьясняется
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel Vorontsov
Добрый день, коллеги!
Есть 2 проблемы с engine kafka & materialized view
По порядку.
В топик kafka пишется массив json объектов, eg
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}]
Делаем
CREATE TABLE queue
(
   TS Int64
  , VF Nullable(Float64)
  , VS Nullable(String)
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow';

В результате получаем ошибку вида "db::exception: cannot parse input: expected ']' before:" при попытке вычитки из очереди.

Делаем
CREATE TABLE queue
(
   value String
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'LineAsString';

При вычитке из очереди видим в value (из примера сверху)
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}
То есть последний символ обрезается. Это как то неприятно. Видимо engine ожидает в конце значения "\n" и превентивно его обрезает?
Есть jsonasstring
источник

A

Assasin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Создайте ишшью и приложите логи https://github.com/ClickHouse/ClickHouse/issues
а какого рода issue и какие именно логи? Для бага нужны шаги воспроизведения, а как воспроизвести проблему - пока не понятно, это и пытаюсь выяснить.
источник

T

T in ClickHouse не тормозит
вопрос немного не по теме, но подскажите плз. Что-то у меня чистка снепшотов нормально не сработало, можно ли снепшоты ЗК удалять руками?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Assasin
а какого рода issue и какие именно логи? Для бага нужны шаги воспроизведения, а как воспроизвести проблему - пока не понятно, это и пытаюсь выяснить.
Issue=bug
Вот вы рассказали что по кругу один и тот мерж ну покажите пример с именами партов. Желательно куски кх лога где видно сообщения. Ddl таблицы
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
T
вопрос немного не по теме, но подскажите плз. Что-то у меня чистка снепшотов нормально не сработало, можно ли снепшоты ЗК удалять руками?
Можно.
источник