Size: a a a

ClickHouse не тормозит

2020 August 27

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel Klyuev
У меня сбоку появился небольшой кластер КХ, я натравил его на тот же зукипер
так можно? или можно как то поменять пути к зукиперу в кх, чтобы писалось в соседний?
Можно. И в конфиге кх для зукипера можно задать секцию root. Специально чтобы можно было создавать  таблицы с одинаковым зк путем в разных кластерах.
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Эта фича экспериментальная. Возможно не доделана
Да, на другом запросе скорость не изменилась. И вообще, похоже на утечку памяти, оно не в 10 раз медленнее, а бесконечно медленнее. Количество просканированных строк на глазах уменьшается на 20% в секунду, так что я не дождался окончания запроса.
источник

PK

Pavel Klyuev in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Можно. И в конфиге кх для зукипера можно задать секцию root. Специально чтобы можно было создавать  таблицы с одинаковым зк путем в разных кластерах.
Да я уже нашёл, спасибо) я сначала не понял что это
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Этой проверки (total) не было в 19.14. Там была настройка for_all_users но она выключена по умолчанию.
В 20.3 есть лимит по умолчанию 0.9*размер озу.
Его можно отключить в config.xml
Сколько памяти использует кх если смотреть top?
доступа к топу нет, есть например такие метрики
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
версия КХ ?

да будет использована

--optimize_read_in_order arg                                     Enable ORDER BY optimization for reading data in corresponding order in MergeTree tables.
20.6.3.28-stable
Опция в таблице system.settings есть и состояние 1
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Запрос
select *
from CfLog c
where Timestamp < '2020-07-12 10:00:00'
order by Timestamp desc
limit 1
падает по memory limit
Схема
CREATE TABLE default.CfLog (
Timestamp DateTime64(3),
RayIdInt Int64,
CookieGa String,
...
...
...
) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(Timestamp)
ORDER BY
 (Timestamp, RayIdInt) SETTINGS index_granularity = 8192
источник

НГ

Николай Гусев... in ClickHouse не тормозит
День добрый,

запускаем в airflow несколько потоков и периодически вылезает  ошибка:
Possible deadlock avoided. Client should retry..

Скрипт служит для обновления таблицы, он подключается к БД, дропает конкретный парт и загружает обновленную информацию по этому парту. Таких партов в таблице всего 11, параллельно выполняется только 3 запроса.
источник

S

Slach in ClickHouse не тормозит
Николай Гусев
День добрый,

запускаем в airflow несколько потоков и периодически вылезает  ошибка:
Possible deadlock avoided. Client should retry..

Скрипт служит для обновления таблицы, он подключается к БД, дропает конкретный парт и загружает обновленную информацию по этому парту. Таких партов в таблице всего 11, параллельно выполняется только 3 запроса.
источник

BB

Bral Bral in ClickHouse не тормозит
Николай Гусев
День добрый,

запускаем в airflow несколько потоков и периодически вылезает  ошибка:
Possible deadlock avoided. Client should retry..

Скрипт служит для обновления таблицы, он подключается к БД, дропает конкретный парт и загружает обновленную информацию по этому парту. Таких партов в таблице всего 11, параллельно выполняется только 3 запроса.
У меня такое было, когда в эту таблицу происходила вставка
источник

S

Slach in ClickHouse не тормозит
Народ, подскажите

имею кластер из двух реплик
успешно создал MergeTree таблицу и Distributed таблицу поверх нее для обеих реплик
CREATE TABLE default.test ON CLUSTER "all-sharded" (event_time DateTime, test UInt64)
ENGINE MergeTree() ORDER BY tuple();

CREATE TABLE default.test_distr ON CLUSTER "all-sharded" (event_time DateTime, test UInt64)
ENGINE Distributed("all-sharded",default, test, test);


стопаю одну из реплик и пытаюсь вставить на другой реплики в distributed таблицу (ключ шардирования UInt64 test - нарастающий счетчик данные

clickhouse-client -mn -h chi-test-cluster-for-alerts-default-0-0-0 --port=9000 -u default  
--query="INSERT INTO default.test_distr(event_time, test) SELECT now(), number FROM system.numbers LIMIT 10000 SETTINGS insert_distributed_sync=1"


получаю exit code = 0
почему?
SETTINGS не срабатывает?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slach
Народ, подскажите

имею кластер из двух реплик
успешно создал MergeTree таблицу и Distributed таблицу поверх нее для обеих реплик
CREATE TABLE default.test ON CLUSTER "all-sharded" (event_time DateTime, test UInt64)
ENGINE MergeTree() ORDER BY tuple();

CREATE TABLE default.test_distr ON CLUSTER "all-sharded" (event_time DateTime, test UInt64)
ENGINE Distributed("all-sharded",default, test, test);


стопаю одну из реплик и пытаюсь вставить на другой реплики в distributed таблицу (ключ шардирования UInt64 test - нарастающий счетчик данные

clickhouse-client -mn -h chi-test-cluster-for-alerts-default-0-0-0 --port=9000 -u default  
--query="INSERT INTO default.test_distr(event_time, test) SELECT now(), number FROM system.numbers LIMIT 10000 SETTINGS insert_distributed_sync=1"


получаю exit code = 0
почему?
SETTINGS не срабатывает?
Так одна реплика жива в нее все и вставилось.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Николай Гусев
День добрый,

запускаем в airflow несколько потоков и периодически вылезает  ошибка:
Possible deadlock avoided. Client should retry..

Скрипт служит для обновления таблицы, он подключается к БД, дропает конкретный парт и загружает обновленную информацию по этому парту. Таких партов в таблице всего 11, параллельно выполняется только 3 запроса.
Версия кх?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Запрос
select *
from CfLog c
where Timestamp < '2020-07-12 10:00:00'
order by Timestamp desc
limit 1
падает по memory limit
Схема
CREATE TABLE default.CfLog (
Timestamp DateTime64(3),
RayIdInt Int64,
CookieGa String,
...
...
...
) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(Timestamp)
ORDER BY
 (Timestamp, RayIdInt) SETTINGS index_granularity = 8192
Если не * выбирать а одно любое поле что тогда?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
доступа к топу нет, есть например такие метрики
Ну значит кх неправильно считает свой total у вас. Уберите лимит
источник

S

Slach in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Так одна реплика жива в нее все и вставилось.
так я ошбися, там не реплика, там 2 шарда в каждом по одной реплике

SELECT *
FROM system.clusters
WHERE cluster = 'all-sharded'

┌─cluster─────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name───────────────────────────────┬─host_address─┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ all-sharded │         1 │            1 │           1 │ chi-test-cluster-for-alerts-default-0-0 │ 127.0.0.1    │ 9000 │        1 │ default │                  │            0 │                       0 │
│ all-sharded │         2 │            1 │           1 │ chi-test-cluster-for-alerts-default-0-1 │ 172.17.0.12  │ 9000 │        0 │ default │                  │            0 │                       0 │
└─────────────┴───────────┴──────────────┴─────────────┴─────────────────────────────────────────┴──────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘
источник

НГ

Николай Гусев... in ClickHouse не тормозит
ClickHouse server version 20.4.5 revision 54434
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Господа и дамы, а ни у кого нету под рукой какого-нибудь инструмента для удобного парсинга RowBinary формата?
источник

YG

Yury Gelman in ClickHouse не тормозит
всем привет, вопрос
в доке в windowFunnel указано значение для окна

windowFunnel(6048000000000000)(timestamp, eventID = ..

6048000000000000 - это в чем? там в примере промежуток ±1 месяц, но 1 месяц это 86400*31
источник

AS

Andrey Shevchenko in ClickHouse не тормозит
добрый день, оказалось что использовать в качестве sharding_key монотонно возрастающего int - не лучшая идея, получился перекос 1/10
несмотря на то, что
> distributes data using a hash function on top of the sharding key
(с сайта altinity, в документации CH вообще не нашел информации как шардинг происходит)
в чем может быть причина? хэш функция не нормально распределяет значения?
источник

AS

Andrey Shevchenko in ClickHouse не тормозит
или если есть, ткните пожалуйста в документацию где почитать подробнее
источник