Я смотрел - в clickhouse with нельзя использовать в подзапросах, а темповые таблицы из питоновского clickhouse_driver не создаются, вроде

лучше не стоит

with agg_table_A as (
    select ....
    from table_A
    group by ...
);

with agg_table_B as (
    select ....
    from table_B
    group by ...
);

select *
from agg_table_A
left join agg_table_B
using ...

https://clickhouse-driver.readthedocs.io/en/latest/features.html#external-data-for-query-processing может помочь

🤔 ща потестим. Как раз проблема в скорости питоновского пандаса

это если table_A и table_B из питона приходят

Ага, спасибо

подскажите, пожалуйста, в чем разница?

select sum(case when action_type in ('to_cart') then 1.0 else 0 end)/
sum(case when action_type in ('view') then 1.0 end) as conversion


select uniqIf(user_session_id, action_type = 'to_cart')/
uniqIf(user_session_id, action_type = 'view') as conversion

1е просто количество строк считает, 2е количество уникальных user_session_id

поняла, cпасибо!

CREATE TABLE default.internal_logs (
  date Date DEFAULT toDate(time),
  time DateTime,
  server String,
  port Int32,
  type String,
  table String,
  volume Int64,
  message String,
  content String,
  source String,
  server_time DateTime DEFAULT now()
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/internal_logs', '{replica}')
PARTITION BY tuple()
ORDER BY time
SETTINGS index_granularity = 8192;

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/internal_logs', '{replica}')

эту строку заменить на:

ENGINE = MergeTree()

всем добрый вечер, очередная головоломка )
как за-семи-джойнить две таблицы  (а точнее отфильтровать одну при помощи второй) по совпадению в префиксе.
пока смог только так, но по итогу выпадает с аут оф мемори (видимо arrayExists  копирует входной массив на каждую строку в where).

пример

with (
  select groupArray(objfilter) from (
    select 'lvl1=2,lvl2=3,lvl3=5' as objfilter UNION ALL
    select 'lvl1=1,lvl2=3,lvl3=5,lvl4=43' as objfilter 
  )
) as fltArr
select fltArr, * from
(
select 'lvl1=2,lvl2=3,lvl3=5' as objpath UNION ALL
select 'lvl1=2,lvl2=3,lvl3=5,lvl4=2' as objpath UNION ALL
select 'lvl1=2,lvl2=3,lvl3=5,lvl4=44' as objpath UNION ALL
select 'lvl1=3,lvl2=3,lvl3=6' as objpath UNION ALL
select 'lvl1=2,lvl2=3' as objpath UNION ALL
select 'lvl1=1,lvl2=3,lvl3=5' as objpath  
) t
WHERE arrayExists(
                selectedObj ->
                     (startsWith(objpath, selectedObj)
                        or startsWith(selectedObj, objpath)),
                fltArr);

Всем привет. Подскажите плз:
Первый день знакомлюсь с кликхаусом, установил все по инструкции, работает, отвечает.
Не могу его прикрутить к графане.
Установил плагин, прописал url  http://myurl:8123 и получаю HTTP Error Forbidden. Все параметры доступа и бд - дефолтные.
В конфиге раскомментил, telnetом проверил сетевую связность и ничего.
Наткнулся на одном из форумов что нужно прописать доверенные IP для доступа кроме локалхоста, но не нашел где.  это так или есть еще что то?
Графана в докере если это имеет значение. Другие датасорсы в кластере видит без проблем.
DBeaver подключился без проблем с другой машины.
Спасибо.

в /etc/clickhouse-server/users.xml

<users>
     <user_1>
        <password></password>
        <networks incl="networks" replace="replace">
             <ip>ips</ip>
        </networks>
        <profile>default</profile>
        <quota>default</quota>
     </user_1>
   </users>

Добрый день!
Тупой вопрос: как КХ справляется с тем чтобы делать к нему select запросы для данных небольших объемов?

Приведу пример: есть некоторая система требующая записи большого объема данных каждые N секунд. Данные поступают от большого количества источников, вроде везде помаленьку, но в сумме цифры выходят гигантские. Нужно в любой момент иметь доступ к актуальной информации, для одного источника.

кассандру и другие К/V надо для такого использовать

Доброе утро, коллеги! подскажите как эффективнее задать ключ партиционирования? В таблицу (MergeTree) происходит около 20 000 000 вставок в месяц, хранит в себе ответы на http запросы в разношёрстном формате - html, json, csv. Т.е. сжимаются плохо и весят достаточно много.
Есть варианты задавать ключ партиционирования как  toYYYYMM(log_date) или toYYYYMMDD(log_date)
Будет ли разница в производительности?

500к в день выглядит мало, можно оставить месяц.

К вопросу о партиционировании. Как понять как его ставить? На проде стоит дневные партиции, потому что есть страх, что когда ивентов станет много, то мы не сможем дропнуть последний день месяца руками и почистить место. А так можем