sumState
anyState

есть доклад "Забиваем телескопом гвозди, или Нестандартные способы использования ClickHouse."

есть доклад "Забиваем телескопом гвозди, или Нестандартные способы использования ClickHouse."

Привет.

Есть условно большая табличка и простой VIEW

select user_id, count(*) from users group by user_id

Если я буду выполнять поверх такого VIEW запросы вида

select  from view where user_id = A

то предикат user_id = A судя по explain syntax будет выполнен на шаге having. то есть сначала выполнится group by, затем уже только фильтр.

можно ли как-то повлиять на такое поведение?

https://altinity.atlassian.net/wiki/spaces/CHKB/pages/196980/A+list+of+videos+Russian+lang а сюда не добавили, ай-яй-яй... можно и премии лишить

неуспел, той вике 3 дня от роду

Добрый вечер. Подскажите плз, для конфига трех ЗК, нужно 3 машины? Нашел статью, разворачивают 3 ЗК на одной машине. Как лушче сделать?

"При этом первая задача была с ошибкой синтаксиса и она так же зависла в процессе выполнения и она так же висит"

У меня есть табличка с событиями. Я хочу посчитать воронку вида "какой процент пользователей, которые до этого тыкнули в определенную кнопку, сделали потом что-то".

То есть в обычном мире я бы либо поселектил в переменную пользователей, которые тыкнули в кнопку, а потом поселектил всех пользователей, сделавших что-то и входящих в этот список (переменную), либо сделал в where условие вида user in (select from)

Привет. Помогите пожалуйста разобраться в проблеме, насколько я понимаю она как то связанно с сетью.

версия 21.1.2.15,
на 21.2 тоже воспроизводится

Делаю 10 последовательных селектов с увеличением offset по 100000 записаей из destributed таблицы (~ 1 миллион записей), подобных этому
SELECT date, id, volume
FROM v1_keywords.keywords
WHERE date = '2021-02-09'
ORDER BY id LIMIT ?,?

В произвольный момоент времени во время выполения запроса соеденение с сервером рвётся по причине падения сервера к которому подключен клиент.

Судя про трейсу где то недалеко от этого места вызвавется исключение
https://github.com/ClickHouse/ClickHouse/blob/21.1/src/Client/MultiplexedConnections.cpp#L240


Таблицы:
CREATE TABLE IF NOT EXISTS v1_keywords.local_keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume String,
)
   ENGINE = ReplicatedMergeTree(
            '/clickhouse/tables/{shard}/v1_keywords/local_keywords',
            '{replica}')
       PARTITION BY date
       ORDER BY (date, id, volume)
       SETTINGS index_granularity = 8192;

CREATE TABLE IF NOT EXISTS v1_keywords.keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume UInt32
)
   ENGINE Distributed(cluster, v1_keywords, local_keywords,
          id);


clickhouse-server.log
...
2021.02.11 09:27:41.851524 [ 108 ] {20fa50e4-08d9-41a0-84fa-8537f8a56a67} <Trace> StorageDistributed (keywords): (ch-sub-4:9000) Cancelling query because enough data has been read

clickhouse-server.err.log
...
2021.02.11 09:27:41.855597 [ 44 ] {} <Trace> BaseDaemon: Received signal 11
2021.02.11 09:27:41.856436 [ 115 ] {} <Fatal> BaseDaemon: ########################################
2021.02.11 09:27:41.856816 [ 115 ] {} <Fatal> BaseDaemon: (version 21.1.2.15 (official build), build id: E40526A12E9A8F3819A18694F6B798F10C624D5C) (from thread 108) (query_id: 20fa50e4-08d9-41a0-84fa-8537f8a56a67) Received signal Segmentation fault (11)
2021.02.11 09:27:41.859238 [ 115 ] {} <Fatal> BaseDaemon: Address: 0xa0 Access: read. Address not mapped to object.
2021.02.11 09:27:41.859267 [ 115 ] {} <Fatal> BaseDaemon: Stack trace: 0xf7e3e31 0xf7f3053 0xf7f3787 0xe9a0847 0xf91077c 0xf910f49 0xf91081c 0xf910f49 0xf914500 0xf919005 0x86415ed 0x86451a3 0x7fc06de4a609 0x7fc06dd6b293
2021.02.11 09:27:41.861343 [ 115 ] {} <Fatal> BaseDaemon: 2. DB::Connection::receivePacket(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7e3e31 in /usr/bin/clickhouse
2021.02.11 09:27:41.861739 [ 115 ] {} <Fatal> BaseDaemon: 3. DB::MultiplexedConnections::receivePacketUnlocked(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7f3053 in /usr/bin/clickhouse
2021.02.11 09:27:41.861756 [ 115 ] {} <Fatal> BaseDaemon: 4. DB::MultiplexedConnections::drain() @ 0xf7f3787 in /usr/bin/clickhouse
2021.02.11 09:27:41.861774 [ 115 ] {} <Fatal> BaseDaemon: 5. DB::RemoteQueryExecutor::finish(std::__1::unique_ptr<DB::RemoteQueryExecutorReadContext, std::__1::default_delete<DB::RemoteQueryExecutorReadContext> >*) @ 0xe9a0847 in /usr/bin/clickhouse
2021.02.11 09:27:41.862187 [ 115 ] {} <Fatal> BaseDaemon: 6. DB::PipelineExecutor::tryAddProcessorToStackIfUpdated(DB::ExecutingGraph::Edge&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, unsigned long) @ 0xf91077c in /usr/bin/clickhouse
2021.02.11 09:27:41.862205 [ 115 ] {} <Fatal> BaseDaemon: 7. DB::PipelineExecutor::prepareProcessor(unsigned long, unsigned long, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::unique_lock<std::__1::mutex>) @ 0xf910f49 in /usr/bin/clickhouse
2021.02.11 09:27:41.862218 [ 115 ] {} <Fatal> BaseDaemon: 8. DB::PipelineExecutor::tryAddProcessorToStackIfU

Проверьте, помогает ли выставление настройки

async_socket_for_remote = 0

Помогите, пожалуйста. Обновляю КХ с 19.17 на 20.8

Были таблицы

CREATE TABLE source
(
    a Int32,
    b Int32,
    c Nullable(Int32)
)
ENGINE = MergeTree
ORDER BY a

и

CREATE TABLE destination
(
    a UInt64,
    st AggregateFunction(argMax, Int32, Int32)
)
ENGINE = AggregatingMergeTree
ORDER BY a

и МВ от первой ко второй

CREATE MATERIALIZED VIEW mv TO destination AS
SELECT
    a,
    argMaxState(c, b) AS st
FROM source
GROUP BY a

На 19.17 вставка в source работала, но на 20.8 перестала:

Conversion from AggregateFunction(argMax, Nullable(Int32), Int32) to AggregateFunction(argMax, Int32, Int32) is not supported: while converting source column st to destination column st: while pushing to view default.mv.

чтобы поправить это попробовал заменить mv на следующую

CREATE MATERIALIZED VIEW mv TO destination AS
SELECT
    a,
    argMaxState(coalesce(c, 0), b) AS st
FROM source
GROUP BY a

Теперь если сделать такую вставку в source:

insert into source values (1,1,1), (1,2,null)

то в destination логично попадают следующая строка:

SELECT
    a,
    argMaxMerge(st)
FROM destination
GROUP BY a


┌─a─┬─argMaxMerge(st)─┐
 │ 1 │               0 │
└───┴─────────────────┘

Однако старая схема в 19.17 дала бы результат

┌─a─┬─argMaxMerge(st)─┐
 │ 1 │               1 │
└───┴─────────────────┘

Я нисколько не утверждаю, что поведение в какой-то из версий является багом, просто я что-то не придумал как мне написать Materialized View , чтобы точно сохранить поведение старой схемы в 19.17 ?

>argMaxState(c, a) AS st

>argMaxState(coalesce(c, 0), b) AS st

а почему a на b поменялось?