а почему у вас дата в источнике словаря не формализована вообще?

какой source у словаря?

так сложилось исторически) csv обновляемый

Добрый день.
Подскажите, пожалуйста, возможно ли осуществлять вставку смешанных данных с JSON?
Примерно такого формата:
create table json_with_others (
   dt datetime,
   str String,
   a UInt8,
   b String
) engine = Memory

insert into json_with_others values (now(), 'text', {"a":1, "b":"b_text"})

JSON вставляйте как строку
пока в clickhouse Нет аналогов PostgeSQL  JSONB

INSERT INTO json_with_others values (now(), 'text', '{"a":1, "b":"b_text"}')

читать так
https://clickhouse.tech/docs/en/sql-reference/functions/json-functions/

Всем привет, возникает проблема с падением DDLWorkera. Есть ли какой нибудь способ отслеживать, что он в рабочем состоянии? Какого либо прцесса с похожим названием не увидели

это не процесс это тред
в clickhouse все на ThreadPool сделано

а конкретно что за ошибка то?

Ошибки нет, в 20.3 писал, что упал в логи. Сейчас 20.8 пишет только 2021.02.10 17:07:36.088961 [ 8880 ] {3b6494c9-d7a0-43e1-b832-51bf38a3fdea} <Error> DynamicQueryHandler: Code: 159, e.displayText() = DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000523861 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 4 unfinished hosts (0 of them are currently active), they are going to execute the query in background. Пока не понимаем, либо в версии что то поменялось, либо возможно конкретно сейчас это deadlock, пока разбираемся

Добрый день,
подскажите как данные в xml сконвертировать и загрузить в clickhouse
Возможно в промежуточный формат. ПО какому пути копать?

Попробуйте использовать формат TSV, зачем xml?

WITH 'name' AS col_name
SELECT 1, 2, 3 AS col_name

Привет, подскажите, есть варианты как динамически задавать название столбца? спасибо!

Помогите пжл по clickhouse
есть
arrayJoin([{$b}] as src) as b
$b = '1', '0', '-1'
There is no supertype for types String, Int16 because some of them are String\/FixedString and some of them are not
я понимаю что тип нельзя совмещать
как можно это обойти?

У меня исходные данные в xml

Если можно этот xml разделить на строки как в таблице, тогда можно взять формат JSONAsString и залить каждую строку в таблицу в КХ. А дальше перелить запросом уже в нормальную таблицу, регулярками выбирая значения для столбцов

Коллеги, у меня есть исходные данные в xml
чеки продаж.
Мне необходимо написать выгрузку в clickhouse что-бы потом можно было отдать эти данные аналитикам и они уже в powerbi строили свою отчетность.
SQL обычный не справляется с такой нагрузкой 50 тыс чеков в день

Если кто может помочь напишите в личку

может парсить xml до загрузки в бд?

просто пид..расить xml кажется не самой лучшей идеей

Привет. Помогите пожалуйста разобраться в проблеме, насколько я понимаю она как то связанно с сетью.

версия 21.1.2.15,
на 21.2 тоже воспроизводится

Делаю 10 последовательных селектов с увеличением offset по 100000 записаей из destributed таблицы (~ 1 миллион записей), подобных этому
SELECT date, id, volume
FROM v1_keywords.keywords
WHERE date = '2021-02-09'
ORDER BY id LIMIT ?,?

В произвольный момоент времени во время выполения запроса соеденение с сервером рвётся по причине падения сервера к которому подключен клиент.

Судя про трейсу где то недалеко от этого места вызвавется исключение
https://github.com/ClickHouse/ClickHouse/blob/21.1/src/Client/MultiplexedConnections.cpp#L240


Таблицы:
CREATE TABLE IF NOT EXISTS v1_keywords.local_keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume String,
)
   ENGINE = ReplicatedMergeTree(
            '/clickhouse/tables/{shard}/v1_keywords/local_keywords',
            '{replica}')
       PARTITION BY date
       ORDER BY (date, id, volume)
       SETTINGS index_granularity = 8192;

CREATE TABLE IF NOT EXISTS v1_keywords.keywords
   ON CLUSTER cluster
(
   date Date,
   id UInt64,
   volume UInt32
)
   ENGINE Distributed(cluster, v1_keywords, local_keywords,
          id);


clickhouse-server.log
...
2021.02.11 09:27:41.851524 [ 108 ] {20fa50e4-08d9-41a0-84fa-8537f8a56a67} <Trace> StorageDistributed (keywords): (ch-sub-4:9000) Cancelling query because enough data has been read

clickhouse-server.err.log
...
2021.02.11 09:27:41.855597 [ 44 ] {} <Trace> BaseDaemon: Received signal 11
2021.02.11 09:27:41.856436 [ 115 ] {} <Fatal> BaseDaemon: ########################################
2021.02.11 09:27:41.856816 [ 115 ] {} <Fatal> BaseDaemon: (version 21.1.2.15 (official build), build id: E40526A12E9A8F3819A18694F6B798F10C624D5C) (from thread 108) (query_id: 20fa50e4-08d9-41a0-84fa-8537f8a56a67) Received signal Segmentation fault (11)
2021.02.11 09:27:41.859238 [ 115 ] {} <Fatal> BaseDaemon: Address: 0xa0 Access: read. Address not mapped to object.
2021.02.11 09:27:41.859267 [ 115 ] {} <Fatal> BaseDaemon: Stack trace: 0xf7e3e31 0xf7f3053 0xf7f3787 0xe9a0847 0xf91077c 0xf910f49 0xf91081c 0xf910f49 0xf914500 0xf919005 0x86415ed 0x86451a3 0x7fc06de4a609 0x7fc06dd6b293
2021.02.11 09:27:41.861343 [ 115 ] {} <Fatal> BaseDaemon: 2. DB::Connection::receivePacket(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7e3e31 in /usr/bin/clickhouse
2021.02.11 09:27:41.861739 [ 115 ] {} <Fatal> BaseDaemon: 3. DB::MultiplexedConnections::receivePacketUnlocked(std::__1::function<void (Poco::Net::Socket&)>) @ 0xf7f3053 in /usr/bin/clickhouse
2021.02.11 09:27:41.861756 [ 115 ] {} <Fatal> BaseDaemon: 4. DB::MultiplexedConnections::drain() @ 0xf7f3787 in /usr/bin/clickhouse
2021.02.11 09:27:41.861774 [ 115 ] {} <Fatal> BaseDaemon: 5. DB::RemoteQueryExecutor::finish(std::__1::unique_ptr<DB::RemoteQueryExecutorReadContext, std::__1::default_delete<DB::RemoteQueryExecutorReadContext> >*) @ 0xe9a0847 in /usr/bin/clickhouse
2021.02.11 09:27:41.862187 [ 115 ] {} <Fatal> BaseDaemon: 6. DB::PipelineExecutor::tryAddProcessorToStackIfUpdated(DB::ExecutingGraph::Edge&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, unsigned long) @ 0xf91077c in /usr/bin/clickhouse
2021.02.11 09:27:41.862205 [ 115 ] {} <Fatal> BaseDaemon: 7. DB::PipelineExecutor::prepareProcessor(unsigned long, unsigned long, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::unique_lock<std::__1::mutex>) @ 0xf910f49 in /usr/bin/clickhouse
2021.02.11 09:27:41.862218 [ 115 ] {} <Fatal> BaseDaemon: 8. DB::PipelineExecutor::tryAddProcessorToStackIfU

pdated(DB::ExecutingGraph::Edge&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, unsigned long) @ 0xf91081c in /usr/bin/clickhouse
2021.02.11 09:27:41.862231 [ 115 ] {} <Fatal> BaseDaemon: 9. DB::PipelineExecutor::prepareProcessor(unsigned long, unsigned long, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::queue<DB::ExecutingGraph::Node*, std::__1::deque<DB::ExecutingGraph::Node*, std::__1::allocator<DB::ExecutingGraph::Node*> > >&, std::__1::unique_lock<std::__1::mutex>) @ 0xf910f49 in /usr/bin/clickhouse
2021.02.11 09:27:41.862242 [ 115 ] {} <Fatal> BaseDaemon: 10. DB::PipelineExecutor::executeStepImpl(unsigned long, unsigned long, std::__1::atomic<bool>*) @ 0xf914500 in /usr/bin/clickhouse
2021.02.11 09:27:41.862511 [ 115 ] {} <Fatal> BaseDaemon: 11. ? @ 0xf919005 in /usr/bin/clickhouse
2021.02.11 09:27:41.862838 [ 115 ] {} <Fatal> BaseDaemon: 12. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x86415ed in /usr/bin/clickhouse
2021.02.11 09:27:41.862850 [ 115 ] {} <Fatal> BaseDaemon: 13. ? @ 0x86451a3 in /usr/bin/clickhouse
2021.02.11 09:27:41.863118 [ 115 ] {} <Fatal> BaseDaemon: 14. start_thread @ 0x9609 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
2021.02.11 09:27:41.863757 [ 115 ] {} <Fatal> BaseDaemon: 15. clone @ 0x122293 in /usr/lib/x86_64-linux-gnu/libc-2.31.so
2021.02.11 09:27:42.246363 [ 115 ] {} <Fatal> BaseDaemon: Checksum of the binary: F6479E166DD7E8ABFA19525726186F71, integrity check passed.