Size: a a a

ClickHouse не тормозит

2021 January 27

D

Dj in ClickHouse не тормозит
Mishanya
ребят, а есть ли варик посчитать поле, но не выводить его для предварительной аггрегации ?

select sumIf(….) as first, sumIf(….) as second, sumIf(….) as third, multif(first > second, sum(some_column), first < 0, third, …..) as res

можно ли вывести только res, что бы не городить все условия в одну функцию ?
with sum(rows) as rsum
select table, partition, rsum from system.parts p group by table, partition;
источник

D

Dj in ClickHouse не тормозит
в таком виде он просто автозамену сделает
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
подполе?
я думал, что такой алиасинг работает только на константные expression
источник

DT

Dmitry Titov in ClickHouse не тормозит
А, ну да туда можно пихать почти что угодно
источник

AB

Alexander Belyakov in ClickHouse не тормозит
всем привет. Возможно ли использовать полученную строку из словаря как часть SQL запроса?

например SELECT sum(dictGet('default.formulas', 'formula', toUInt64(id), date)) FROM events
источник

АП

Артём Павленко... in ClickHouse не тормозит
Всем привет
Нужна техническая помощь по репе кликхауса
тэг v21.1.2.15-stable: v21.1.2.15-stable
Фейлится при загрузке субмодуля base64

fatal: remote error: upload-pack: not our ref af9b331f2b4f30b41c70f3a571ff904a8251c1d3
fatal: The remote end hung up unexpectedly
Fetched in submodule path 'ClickHouse/contrib/base64', but it did not contain af9b331f2b4f30b41c70f3a571ff904a8251c1d3. Direct fetching of that commit failed.
Failed to recurse into submodule path 'ClickHouse'

Пишет нет коммита, на который ссылается субмодуль
Отсутствие коммита в гите я не могу интуитивно пофиксить. Кто может знать что с этим делать?
источник

D

Dj in ClickHouse не тормозит
Alexander Belyakov
всем привет. Возможно ли использовать полученную строку из словаря как часть SQL запроса?

например SELECT sum(dictGet('default.formulas', 'formula', toUInt64(id), date)) FROM events
типа eval()? - пока нет, но "скоро" подвезут функции
источник

AB

Alexander Belyakov in ClickHouse не тормозит
понял, спасибо
источник

AA

Albert Aytkulov in ClickHouse не тормозит
Всем доброго времени суток.
Вопрос: у меня есть талбица с TTL some_date_time + toIntervalDay(30), партииции разбиты по ToStartHour(some_date_time).
Смотрю количество партиций в system.parts для данной таблицы и их значительно больше 720 (30*24). а при детальном разборе партиции старше 30 дней не удаляются, а существуют с нулевым количеством строк.
Насколько это нормально и стоит ли их вычищать, дабы повысить производительность?
источник

S

Slach in ClickHouse не тормозит
Albert Aytkulov
Всем доброго времени суток.
Вопрос: у меня есть талбица с TTL some_date_time + toIntervalDay(30), партииции разбиты по ToStartHour(some_date_time).
Смотрю количество партиций в system.parts для данной таблицы и их значительно больше 720 (30*24). а при детальном разборе партиции старше 30 дней не удаляются, а существуют с нулевым количеством строк.
Насколько это нормально и стоит ли их вычищать, дабы повысить производительность?
system.parts и PARATITION BY это разные сущности

system.parts это куски данных внутри партиций образованные в результате вставки или слияния старых партов

частые партиции это не правильно, или у вас действительно много данных но за короткий промежуток времени? сколько миллиардов строк?
источник

AA

Albert Aytkulov in ClickHouse не тормозит
Slach
system.parts и PARATITION BY это разные сущности

system.parts это куски данных внутри партиций образованные в результате вставки или слияния старых партов

частые партиции это не правильно, или у вас действительно много данных но за короткий промежуток времени? сколько миллиардов строк?
Чуть больше 9 миллиардов строк, данных за короткий промежуток времени достаточно много
источник

S

Slach in ClickHouse не тормозит
Albert Aytkulov
Чуть больше 9 миллиардов строк, данных за короткий промежуток времени достаточно много
тогда да, просто помните что system.parts входят в system.partitions
там даже поле есть такое

парты с нулевым кол-вом строк могут существовать, это не страшно
можно удалить со временем
см. ttl_only_drop_parts
https://clickhouse.tech/docs/en/operations/settings/settings/#ttl_only_drop_parts
источник

TA

Tatyana Agalakova in ClickHouse не тормозит
Я тут вчера спрашивала про словарь по месяцам-решила все проще, в redash все забила через такую конструкцию 1-Январь и т.д
И через substr обрезала лишнее
источник

S

Slach in ClickHouse не тормозит
Tatyana Agalakova
Я тут вчера спрашивала про словарь по месяцам-решила все проще, в redash все забила через такую конструкцию 1-Январь и т.д
И через substr обрезала лишнее
ну если в redash можно кастомные фильтры с кастомными данными сделать, то так проще
источник

TA

Tatyana Agalakova in ClickHouse не тормозит
Там можно сделать типо выпадающего списка-я посчитала, что очередность месяцев уж точно не поменяется никогда и забила руками
источник

S

Slach in ClickHouse не тормозит
Tatyana Agalakova
Там можно сделать типо выпадающего списка-я посчитала, что очередность месяцев уж точно не поменяется никогда и забила руками
ну не то чтобы никогда =)
скорее маловероятно
источник

AA

Albert Aytkulov in ClickHouse не тормозит
Slach
тогда да, просто помните что system.parts входят в system.partitions
там даже поле есть такое

парты с нулевым кол-вом строк могут существовать, это не страшно
можно удалить со временем
см. ttl_only_drop_parts
https://clickhouse.tech/docs/en/operations/settings/settings/#ttl_only_drop_parts
Спасибо
источник

V

Vitalij in ClickHouse не тормозит
Piotr Liakhavets
Ребята
если я вижу в
select * from system.metrics;
ZooKeeperSession = 2
* Number of sessions (connections) to ZooKeeper. Should be no more than one, because using more than one connection to ZooKeeper may lead to bugs due to lack of linearizability (stale reads) that ZooKeeper consistency model allows.

это вообще проблема?

в конфиге вроде ничего сверхъестественного:
    <zookeeper>
       <node>
           <host>10.X.X.2</host>
           <port>2181</port>
       </node>
       <node>
           <host>10.X.X.3</host>
           <port>2181</port>
       </node>
       <node>
           <host>10.X.X.4</host>
           <port>2181</port>
       </node>
       <node>
           <host>10.X.X.5</host>
           <port>2181</port>
       </node>
       <node>
           <host>10.X.X.6</host>
           <port>2181</port>
       </node>
       <session_timeout_ms>30000</session_timeout_ms>
   </zookeeper>
Привет. У нас тоже самое. Как у вас что-нибудь прояснилось?
источник

E

Edya in ClickHouse не тормозит
Привет! Никто не сталкивался с задержкой вставки в основную таблицу из буфферной? Похоже он не сбрасывает данные на диск больше дня. При этом в буферной таблице указано max_time = 100. Версия - 20.9.2.20
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Vitalij
Привет. У нас тоже самое. Как у вас что-нибудь прояснилось?
нет(
источник