Size: a a a

ClickHouse не тормозит

2020 July 09

DC

Denny Crane (I don't... in ClickHouse не тормозит
Arsen

   `cost_currency` LowCardinality(String),
   `cost_amount` Float32,
   `reporting_cost` Float32,
   `rejection_reason` LowCardinality(String),
   `api_level` LowCardinality(String),
   `deeplink` String,
   `file_name` String
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(created_at)
ORDER BY (id_short, adid, created_at, installed_at, country, city, os_name, activity_kind, event_name, reporting_currency, reporting_revenue, network_name, adgroup_name, campaign_name, creative_name)
SETTINGS index_granularity = 8192
после created_at остальные поля в индексе только память жрут.

insert как делается? параллельно в несколько потоков? какой формат? какая версия КХ ?
источник

A

Arsen in ClickHouse не тормозит
в один поток через питоновскую либу
version 20.4.5.36
источник

A

Arsen in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
после created_at остальные поля в индексе только память жрут.

insert как делается? параллельно в несколько потоков? какой формат? какая версия КХ ?
То есть остальные поля бесполезны?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Arsen
То есть остальные поля бесполезны?
я думаю да, created_at -- время с секундами? высокардинальное поле
источник

A

Arsen in ClickHouse не тормозит
Да
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Arsen
в один поток через питоновскую либу
version 20.4.5.36
через которую либу из 8? в смысле она native льет?
источник

A

Arsen in ClickHouse не тормозит
источник

A

Arsen in ClickHouse не тормозит
В функцию insert pandas датафрейм передается
источник

A

Arsen in ClickHouse не тормозит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
все как-то подозрительно , надо в логе КХ смотреть сколько партов создается и сколько памяти используется
источник

A

Arsen in ClickHouse не тормозит
Всего в этой таблице 973 парта
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Arsen
Всего в этой таблице 973 парта
и что? может инсерт 10к партов создал, а они все в один помержились
источник

A

Arsen in ClickHouse не тормозит
источник

A

Armenak in ClickHouse не тормозит
Armenak
Похоже на баг, заведу issue на github
Нет, это не ошибка ClickHouse. Сам дурак. Вставка происходит в буферную таблицу. И вот ее забыл пересоздать, когда переименовал колонку в целевой таблице.
источник
2020 July 10

BB

Bral Bral in ClickHouse не тормозит
Подскажите , вообще сколько таймаутов есть в сетингах , которые ограничивают время выполнения запроса? Менял send_timeout , receive_timeout,  keep_alive - но безрезультатно. Ещё один факт, что через кликхаусклиент возвращает корректный результат . И время именно ходит вокруг да около 300секунд
источник

pk

papa karlo in ClickHouse не тормозит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Подскажите , вообще сколько таймаутов есть в сетингах , которые ограничивают время выполнения запроса? Менял send_timeout , receive_timeout,  keep_alive - но безрезультатно. Ещё один факт, что через кликхаусклиент возвращает корректный результат . И время именно ходит вокруг да около 300секунд
а если так то меняется ? clickhouse-client --receive_timeout=6000
источник

AS

Adlet Sarsembaev in ClickHouse не тормозит
Добрый вечер всем. Насколько корректно делать батчевый забор данных из кликхауса? Возможно немного вопрос глупый, буду рад, если кто нибудь скинет референсы интересные.
источник

AS

Adlet Sarsembaev in ClickHouse не тормозит
Имеется в виду, будет ли база от этого деградировать?
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Да. Главное шоб результат тру или фалс
источник