Какой бы делимитер я не передал консольному клиенту, оно выдает эту ошибку. Гуишные клиенты грузят без ошибок, но долго. ЧЯДНТ?

Добрый день.
Помогите пожалуйста разобраться в MATERIALIZED VIEW
Проблама в том, выполнятеся фул скан всех партов представления, но мне бы хотелось этого избежать

сырые данные лежат подобным образом

CREATE TABLE IF NOT EXISTS v1_fts.local_ids
   ON CLUSTER cluster
(
   date        Date,
   id          UInt64,
   words       Array(UInt64)
)
   ENGINE = ReplicatedMergeTree(
            '/clickhouse/tables/{shard}/v1_fts/local_ids',
            '{replica}')
       PARTITION BY date
       ORDER BY (date, id)
       SETTINGS index_granularity = 8192;

распределеённая таблица

CREATE TABLE IF NOT EXISTS v1_fts.ids
   ON CLUSTER cluster
(
   date        Date,
   id          UInt64,
   words       Array(UInt64)
)
   ENGINE Distributed(cluster, v1_fts, local_ids, id);
   
Я бы хотел исполнять запрос подобного вида:
SELECT date, id
FROM
   (
    SELECT DISTINCT
        date,
        id
    FROM v1_fts.ids
        PREWHERE date = '2021-03-18' AND words hasAll(words, [16015426228996655908,1584244114596650083])
    ORDER BY id
    LIMIT 0,10);
но это фулскан из-за того что индекс не по words

делаю новую таблицу

CREATE TABLE v1_fts.local_words
   ON CLUSTER cluster
(
   date        Date,
   word        UInt64,
   words       Array(UInt64),
   id          UInt64
) ENGINE = ReplicatedMergeTree(
          '/clickhouse/tables/{shard}/v1_fts/local_words', '{replica}')
     PARTITION BY tuple()
     ORDER BY (date, word, words, id);

и mat view для нее

CREATE MATERIALIZED VIEW IF NOT EXISTS v1_fts.words_mv
           ON CLUSTER cluster
           TO v1_fts.local_words
AS
SELECT date,
      word,
      words
FROM v1_fts.local_ids
        ARRAY JOIN words AS word
GROUP BY (date, word, words, id);

и распределенная таблица для words

CREATE TABLE IF NOT EXISTS v1_fts.words
   ON CLUSTER cluster
(
   date        Date,
   word        UInt64,
   words       Array(UInt64),
   id          UInt64,
) ENGINE = Distributed(cluster, v1_fts, local_words, word);


заливаю новые данные в распределенную таблицу v1_fts.words небольшими кусками по 10000 строк, общее количкство строк порядка десяти миллинов.

выплняю модицированный запрос

SELECT date, id
FROM
   (
    SELECT DISTINCT
        date,
        id
    FROM v1_fts.words
        PREWHERE date = '2021-03-18' AND word IN (16015426228996655908,1584244114596650083) AND hasAll(words, [16015426228996655908,1584244114596650083])
    ORDER BY id
    LIMIT 0,10);
   
по логу я вижу, что выполнятеся фулскан таблицы v1_fts.local_words на всех шардах

Подскажите пожалуйста как организовать даные и избежать фулскан таблицы v1_fts.local_words в этом кейсе?

мой-то пример работает?

Нет. Ваш пример - Code: 81, e.displayText() = DB::Exception: Database DAS doesn't exist (version 20.9.3.45 (official build))
Code: 60, e.displayText() = DB::Exception: Table DAS.jTranOff_2019_TranOffPost_nullable doesn't exist. (version 20.9.3.45 (official build))

поразительно

И как оно вообще может работать без передачи учетных данных при обращении к объектам? По хелпу у этого бинарника нет учетных данных.

Какой один бинарник? Я про clickhouse-local

Короче, кривой инструмент. С каким бы делимитером я бы не выгрузил таблицу, с этим делимитером я через ГУЙ гружу данные, консоль выдает одну и ту же ошибку, подставляя этот делимитер в сообщение.

Добрый день! Не происходит вставка в одну из таблиц бд:
Code: 252. DB::Exception: Received from localhost:9000. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts..
Вставка происходит 4-5 раз в день из csv на несколько тысяч строк. Руками попробовал скормить КХ csv на 17 строк - вышеупомянутая ошибка.
select * from system.merges - пусто
select * from system.replication_queue - пусто
select * from parts where table='<table_name>' - данных нет уже пару дней (столько живем с ошибкой)
select * from replicas - здесь обратил внимание, что данные по проблемной таблице отличаются от ее соседей. Привлекли внимание следующие параметры:
is_leader - 0 (у здоровых соседей 1)
absolute_delay - 1616488909 (у соседей 0. Полагаю, это задержка. Видимо репликация не происходит)
active_replicas - 0 (2 у соседей)
engine проблемной таблицы - ReplicatedSummingMergeTree, версия КХ - ClickHouse server version 20.9.2 revision 54439
Подскажите пожалуйста, в чем проблема и как исправить?

@den_crane, посмотрите пожалуйста