Size: a a a

ClickHouse не тормозит

2021 March 22

MM

Michael M in ClickHouse не тормозит
а, ну т.е. имеется ввиду, что ключ у нас уникальный и можно по нему перезаписать значения.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Michael M
а, ну т.е. имеется ввиду, что ключ у нас уникальный и можно по нему перезаписать значения.
Да
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вы понимаете что следующий логичный шаг выкинуть кх и взять MySQL и наделать таблиц там с rocksdb?
источник

MM

Michael M in ClickHouse не тормозит
я от мускула как раз хочу сбежать подальше, как вспомню 100500 таблиц вместо одной большой.
источник

🅰

🅰🅼🅱🅴🆁🅾🅽... in ClickHouse не тормозит
Привет.
Когда у Кликхауза скапливаются мутации, он практически перестает мержить свежепоступающие парты, и их может накопиться сверх лимита (дефолтный 300)

Есть ли способ отдать приоритет мёржам свежей инфы, а мутации делать последним приоритетом?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
🅰🅼🅱🅴🆁🅾🅽
Привет.
Когда у Кликхауза скапливаются мутации, он практически перестает мержить свежепоступающие парты, и их может накопиться сверх лимита (дефолтный 300)

Есть ли способ отдать приоритет мёржам свежей инфы, а мутации делать последним приоритетом?
Зависит от версии кх. Сейчас можно настроить что например в пуле будет 32 треда и мутации будут идти если все 31 свободны
источник

DT

Dmitry Titov in ClickHouse не тормозит
🅰🅼🅱🅴🆁🅾🅽
Привет.
Когда у Кликхауза скапливаются мутации, он практически перестает мержить свежепоступающие парты, и их может накопиться сверх лимита (дефолтный 300)

Есть ли способ отдать приоритет мёржам свежей инфы, а мутации делать последним приоритетом?
number_of_free_entries_in_pool_to_execute_mutation
merge_tree_settings
Настройка
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Зависит от версии кх. Сейчас можно настроить что например в пуле будет 32 треда и мутации будут идти если все 31 свободны
а они мерджи партов не блокирует? типа у них порядка нет??
а то в replacing/collapsing - это может вылится в фан =)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
а они мерджи партов не блокирует? типа у них порядка нет??
а то в replacing/collapsing - это может вылится в фан =)
Блокируют, новые то парты будут мержится, их не надо мутировать.

Т.е. было 20 партов, началась мутация, 20 заблокированы
источник

🅰

🅰🅼🅱🅴🆁🅾🅽... in ClickHouse не тормозит
Спасибы, попробую. Правда не уверен что нагрузка у меня как-то особо колеблется. Так как раз в 2 секунды Buffer флушится в таблицу. И мержи там абсолютно пустяковые, но могут легко выскочить за лимит
источник

SU

Stepan Ustinov in ClickHouse не тормозит
Stepan Ustinov
спасибо, но немного непраивльно написал
вот так скорее
типо update column1=value1 if cond1 or column1=value2 if cond 2

просто один длинный if с внутренними ифами?
Видимо это плохое решение для моего случая🙈

Не подскажете какое решение выбрать для такого кейса

Добавил новую колонку и в нее надо засунуть значение для всех строк, но они очень различные, и редко совпадают значения для разных строк, практически максимум для 10 строк одно значение

Лучше скопировать таблицу с новой колонкой и значениями и вставить в новую? или через update нормально?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
🅰🅼🅱🅴🆁🅾🅽
Спасибы, попробую. Правда не уверен что нагрузка у меня как-то особо колеблется. Так как раз в 2 секунды Buffer флушится в таблицу. И мержи там абсолютно пустяковые, но могут легко выскочить за лимит
Значит дело вообще в чем-то другом
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Stepan Ustinov
Видимо это плохое решение для моего случая🙈

Не подскажете какое решение выбрать для такого кейса

Добавил новую колонку и в нее надо засунуть значение для всех строк, но они очень различные, и редко совпадают значения для разных строк, практически максимум для 10 строк одно значение

Лучше скопировать таблицу с новой колонкой и значениями и вставить в новую? или через update нормально?
Через update конечно
источник

D

Denis 災 nobody in ClickHouse не тормозит
в общем, сделал как умел, но ттл оно мне обновило (вроде.. тестирую)
источник

🅰

🅰🅼🅱🅴🆁🅾🅽... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Значит дело вообще в чем-то другом
ну т.е. вставка равномерно раз в две секунды из буфера,
выборка равномерно,
а мутации могут прилететь пачкой, и кликхауз бросает мержи свежих инсертов ради них.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
🅰🅼🅱🅴🆁🅾🅽
ну т.е. вставка равномерно раз в две секунды из буфера,
выборка равномерно,
а мутации могут прилететь пачкой, и кликхауз бросает мержи свежих инсертов ради них.
источник

🅰

🅰🅼🅱🅴🆁🅾🅽... in ClickHouse не тормозит
👌🙏
источник

KL

Kuzma Le in ClickHouse не тормозит
у кого-нибудь бывало, что ch отдает время от времени (скажем, 2 раза из 3х при запросе), что table doesn't exist?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kuzma Le
у кого-нибудь бывало, что ch отдает время от времени (скажем, 2 раза из 3х при запросе), что table doesn't exist?
нет.
скорее всего у distributed запрос попадает на сервер где нету таблицы
Из лога КХ покажите ошибку.
источник

n🐈

nikoinlove 🐈 in ClickHouse не тормозит
а подскажите чего у меня кх не ищет по флоатам?
источник