Привет. Помогите пожалуйста разобраться в проблеме, насколько я понимаю она как то связанно с сетью.

версия 21.1.2.15,
на 21.2 тоже воспроизводится

Делаю 10 последовательных селектов с увеличением offset по 100000 записаей из destributed таблицы (~ 1 миллион записей), подобных этому
SELECT date, id, volume
FROM v1_keywords.keywords
WHERE date = '2021-02-09'
ORDER BY id LIMIT ?,?

В произвольный момоент времени во время выполения запроса соеденение с сервером рвётся по причине падения сервера к которому подключен клиент.

Судя про трейсу где то недалеко от этого места вызвавется исключение
https://github.com/ClickHouse/ClickHouse/blob/21.1/src/Client/MultiplexedConnections.cpp#L240


Таблицы:
CREATE TABLE IF NOT EXISTS v1_keywords.local_keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume String,
)
   ENGINE = ReplicatedMergeTree(
            '/clickhouse/tables/{shard}/v1_keywords/local_keywords',
            '{replica}')
       PARTITION BY date
       ORDER BY (date, id, volume)
       SETTINGS index_granularity = 8192;

CREATE TABLE IF NOT EXISTS v1_keywords.keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume UInt32
)
   ENGINE Distributed(cluster, v1_keywords, local_keywords,
          id);


clickhouse-server.log
...
2021.02.11 09:27:41.851524 [ 108 ] {20fa50e4-08d9-41a0-84fa-8537f8a56a67} <Trace> StorageDistributed (keywords): (ch-sub-4:9000) Cancelling query because enough data has been read

clickhouse-server.err.log
...
2021.02.11 09:27:41.855597 [ 44 ] {} <Trace> BaseDaemon: Received signal 11
2021.02.11 09:27:41.856436 [ 115 ] {} <Fatal> BaseDaemon: ########################################
2021.02.11 09:27:41.856816 [ 115 ] {} <Fatal> BaseDaemon: (version 21.1.2.15 (official build), build id: E40526A12E9A8F3819A18694F6B798F10C624D5C) (from thread 108) (query_id: 20fa50e4-08d9-41a0-84fa-8537f8a56a67) Received signal Segmentation fault (11)
2021.02.11 09:27:41.859238 [ 115 ] {} <Fatal> BaseDaemon: Address: 0xa0 Access: read. Address not mapped to object.
2021.02.11 09:27:41.859267 [ 115 ] {} <Fatal> BaseDaemon: Stack trace: 0xf7e3e31 0xf7f3053 0xf7f3787 0xe9a0847 0xf91077c 0xf910f49 0xf91081c 0xf910f49 0xf914500 0xf919005 0x86415ed 0x86451a3 0x7fc06de4a609 0x7fc06dd6b293
2021.02.11 09:27:41.861343 [ 115 ] {} <Fatal> BaseDaemon: 2. DB::Connection::receivePacket(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7e3e31 in /usr/bin/clickhouse
2021.02.11 09:27:41.861739 [ 115 ] {} <Fatal> BaseDaemon: 3. DB::MultiplexedConnections::receivePacketUnlocked(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7f3053 in /usr/bin/clickhouse
2021.02.11 09:27:41.861756 [ 115 ] {} <Fatal> BaseDaemon: 4. DB::MultiplexedConnections::drain() @ 0xf7f3787 in /usr/bin/clickhouse
2021.02.11 09:27:41.861774 [ 115 ] {} <Fatal> BaseDaemon: 5. DB::RemoteQueryExecutor::finish(std::__1::unique_ptr<DB::RemoteQueryExecutorReadContext, std::__1::default_delete<DB::RemoteQueryExecutorReadContext> >*) @ 0xe9a0847 in /usr/bin/clickhouse
2021.02.11 09:27:41.862187 [ 115 ] {} <Fatal> BaseDaemon: 6. DB::PipelineExecutor::tryAddProcessorToStackIfUpdated(DB::ExecutingGraph::Edge&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, unsigned long) @ 0xf91077c in /usr/bin/clickhouse
2021.02.11 09:27:41.862205 [ 115 ] {} <Fatal> BaseDaemon: 7. DB::PipelineExecutor::prepareProcessor(unsigned long, unsigned long, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::unique_lock<std::__1::mutex>) @ 0xf910f49 in /usr/bin/clickhouse
2021.02.11 09:27:41.862218 [ 115 ] {} <Fatal> BaseDaemon: 8. DB::PipelineExecutor::tryAddProcessorToStackIfU

может парсить xml до загрузки в бд?

OOM Killer пришел наверное
?

Коллеги, у меня есть исходные данные в xml
чеки продаж.
Мне необходимо написать выгрузку в clickhouse что-бы потом можно было отдать эти данные аналитикам и они уже в powerbi строили свою отчетность.
SQL обычный не справляется с такой нагрузкой 50 тыс чеков в день

Если кто может помочь напишите в личку

OOM Killer пришел наверное
?

Что вы такое делаете, что БД не справляется с 50к в день??

кладут сырой ХМЛ в реляционную базу и парсят его каждый раз...

Что вы такое делаете, что БД не справляется с 50к в день??

Никогда не работал с массивами в КХ, пните в нужном направлении, пожалуйста.

CREATE TABLE TestTable
(
  id Int32
  , params Nested(
    name LowCardinality(String)
    , value String
  )
)
ENGINE = Memory()
;

INSERT INTO TestTable(id, params.name, params.value)
VALUES (1, ['param1', 'param2'], ['val1', 'val2']), (2, ['param1', 'param2'], ['val1', 'val3']), (3, ['param1', 'param2', 'param3'], ['val1', 'val2', 'val4']), (4, ['param1', 'param2'], ['val1', 'val3'])
;

Как с учётом такой структуры выбрать, например, айдишники записей, у которых param1=val1 и param2=val2 (в данном примере 1 и 3)?
Или выбрать айдишники, набор параметров и значений которых не уникален (в данном примере 2 и 4)?

WHERE params.name='param1' AND params.value='val1' ?

Никогда не работал с массивами в КХ, пните в нужном направлении, пожалуйста.

CREATE TABLE TestTable
(
  id Int32
  , params Nested(
    name LowCardinality(String)
    , value String
  )
)
ENGINE = Memory()
;

INSERT INTO TestTable(id, params.name, params.value)
VALUES (1, ['param1', 'param2'], ['val1', 'val2']), (2, ['param1', 'param2'], ['val1', 'val3']), (3, ['param1', 'param2', 'param3'], ['val1', 'val2', 'val4']), (4, ['param1', 'param2'], ['val1', 'val3'])
;

Как с учётом такой структуры выбрать, например, айдишники записей, у которых param1=val1 и param2=val2 (в данном примере 1 и 3)?
Или выбрать айдишники, набор параметров и значений которых не уникален (в данном примере 2 и 4)?

коллеги, подскажите плз, как посмотреть, что именно может крепко нагружать базу, какой запрос

коллеги, подскажите плз, как посмотреть, что именно может крепко нагружать базу, какой запрос

SELECT groupArray(arraySort((x) -> x.1, arrayZip(params.name,params.value))) AS uniq_params, count() AS ids_count
FROM TestTable
GROUP BY uniq_params
HAVING ids_count > 1

попробуйте почитать