Size: a a a

ClickHouse не тормозит

2021 February 10

✡🇷🇺OpossumDude☃️🦠... in ClickHouse не тормозит
Приветствую всех. Появилась вот такая проблемка. Я хочу выполнить фун-ю multiSearchAnyCaseInsensitiveдля URL, но получаю ошибку, что первый аргумент должен быть константой.
Как можно преобразовать url в константу (надеюсь я достаточно грамотно написал ) 😶
источник

D

Dj in ClickHouse не тормозит
✡🇷🇺OpossumDude☃️🦠
Приветствую всех. Появилась вот такая проблемка. Я хочу выполнить фун-ю multiSearchAnyCaseInsensitiveдля URL, но получаю ошибку, что первый аргумент должен быть константой.
Как можно преобразовать url в константу (надеюсь я достаточно грамотно написал ) 😶
второй аргумент должен быть константой, не первый (0 индексед)
источник

M

Mishanya in ClickHouse не тормозит
RR2347987
Всем привет!
Подскажите пожалуйста, почему в мат вью с движком ReplacingMergeTree могут не записываться данные?
Уже долгое время пытаюсь отловить этот shadow bug.
Когда ручками пересоздаю мат вью, то данные подтягиваются, а если её оставить на недельку, то некоторые строки не долетают.

@den_crane 🙏
что значит не долетают ?
источник

✡🇷🇺OpossumDude☃️🦠... in ClickHouse не тормозит
Dj
второй аргумент должен быть константой, не первый (0 индексед)
Разве в функциях индексация начинается с нуля? Это же не массив
источник

D

Dj in ClickHouse не тормозит
✡🇷🇺OpossumDude☃️🦠
Разве в функциях индексация начинается с нуля? Это же не массив
ну это вы так думаете, а кто-то может думать что  аргументы функции это массив с динамическими типами...
источник

✡🇷🇺OpossumDude☃️🦠... in ClickHouse не тормозит
Dj
ну это вы так думаете, а кто-то может думать что  аргументы функции это массив с динамическими типами...
Можешь, если не сложно, скинуть доку для ознакомления, буду премного благодарен
источник

ИС

Игорь Солодуев... in ClickHouse не тормозит
Добрый день!
Нужно сопоставить строки из одной таблицы по регулярке(или обычному like) с другой таблицей.
Обычный JOIN требует строгое сравнение.
А если применить CROSS JOIN, то КХ ругается, что функции сравнения строк (like, match) требуют вторым аргументом константу.
Есть ли какая-нибудь возможность осуществить задуманное?
Пример, на который ругается КХ:
  
SELECT
 id AS InternalId,
 name AS Name,
 round(cost / 100,2) AS Price,
 sum(amt) AS Quantity,
 round(sum(tot / 100), 2) AS Sum
FROM
 db.goods r,
 (select '%text%' as Filter, 1 as CompaignId) as pt
WHERE
 date >= today()
 AND Name like pt.Filter -- Argument at index 1 for function like must be constant
GROUP BY InternalId, Name, Price
LIMIT 10
источник

D

Dj in ClickHouse не тормозит
✡🇷🇺OpossumDude☃️🦠
Можешь, если не сложно, скинуть доку для ознакомления, буду премного благодарен
ничего не понял, но короче ваша проблема решается так:
multiSearchAnyCaseInsensitive(url, 'substring_to_find');
источник

L

Lazoreth in ClickHouse не тормозит
Подскажите пожалуйста. По какой причине SummingMergeTree может не суммироватся? Сделал запись около получаса назад, таблица так и не просуммирована. Не могу чёт отдуплить совсем, гугл тоже не помогает. Хотя в мат. вьюхе всё суммировалось быстро
```CREATE TABLE IF NOT EXISTS lbas_daily
(
   date Date,
   uuid UUID,
   created_at DateTime,
   type_name String,
   bv Int64
)     ENGINE = SummingMergeTree(bv)
   PARTITION BY toYYYYMM(date)
   ORDER BY (date, uuid);

INSERT INTO lbas_daily
SELECT toDate(sample_time) as date,
      uuid,
      created_at,
      type_name,
      1                   as bv
FROM lbas
WHERE toDate(sample_time) == yesterday();
```
источник

L

Lazoreth in ClickHouse не тормозит
Вот такой запрос делаешь, там цифры одинаковые
SELECT (SELECT count(*)
       FROM lbas
       WHERE toDate(sample_time) == yesterday()) as orig_table_cnt,
      (SELECT count(*) FROM as_daily) as daily_table_cnt;
источник

D

Dj in ClickHouse не тормозит
Игорь Солодуев
Добрый день!
Нужно сопоставить строки из одной таблицы по регулярке(или обычному like) с другой таблицей.
Обычный JOIN требует строгое сравнение.
А если применить CROSS JOIN, то КХ ругается, что функции сравнения строк (like, match) требуют вторым аргументом константу.
Есть ли какая-нибудь возможность осуществить задуманное?
Пример, на который ругается КХ:
  
SELECT
 id AS InternalId,
 name AS Name,
 round(cost / 100,2) AS Price,
 sum(amt) AS Quantity,
 round(sum(tot / 100), 2) AS Sum
FROM
 db.goods r,
 (select '%text%' as Filter, 1 as CompaignId) as pt
WHERE
 date >= today()
 AND Name like pt.Filter -- Argument at index 1 for function like must be constant
GROUP BY InternalId, Name, Price
LIMIT 10
если во второй таблице (pt) мало строк, можно их вернуть как массив в with и использовать. иначе вроде никак

with (select groupArray(flt) from (/* your filter table */select arrayJoin(['ing1', 'ing3', 'ing4']) as flt)) as fltArr
select * from (/* your goods table */select arrayJoin(['String1','String2','String3']) as name) as goods
where multiSearchAny(name, fltArr);
источник

ИС

Игорь Солодуев... in ClickHouse не тормозит
Dj
если во второй таблице (pt) мало строк, можно их вернуть как массив в with и использовать. иначе вроде никак

with (select groupArray(flt) from (/* your filter table */select arrayJoin(['ing1', 'ing3', 'ing4']) as flt)) as fltArr
select * from (/* your goods table */select arrayJoin(['String1','String2','String3']) as name) as goods
where multiSearchAny(name, fltArr);
Спасибо.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Всем привет!
Вопрос по движку Kafka.
Периодически ловлю такие сообщения:

2021.02.10 10:08:29.829926 [ 22125 ] {} <Warning> StorageKafka (my_kafka_table): Parsing of message (topic: my_topic, partition: 4, offset: 76719) return no rows.

Проверяю сам месседж в кафке, смотрю в кликхаус и вижу что данные из этого месседжа записались в таблицу.
Может ли кто-то подсказать из-за чего такие ворнинги могут быть?
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Lazoreth
Подскажите пожалуйста. По какой причине SummingMergeTree может не суммироватся? Сделал запись около получаса назад, таблица так и не просуммирована. Не могу чёт отдуплить совсем, гугл тоже не помогает. Хотя в мат. вьюхе всё суммировалось быстро
```CREATE TABLE IF NOT EXISTS lbas_daily
(
   date Date,
   uuid UUID,
   created_at DateTime,
   type_name String,
   bv Int64
)     ENGINE = SummingMergeTree(bv)
   PARTITION BY toYYYYMM(date)
   ORDER BY (date, uuid);

INSERT INTO lbas_daily
SELECT toDate(sample_time) as date,
      uuid,
      created_at,
      type_name,
      1                   as bv
FROM lbas
WHERE toDate(sample_time) == yesterday();
```
Если Вы читали документацию, то там написано, что оно суммирует в неизвестный момент времени, а так же ClickHouse может не полностью просуммировать все строки, для этого нужно использовать агрегатную функцию sum и секцию GROUP BY
источник

L

Lazoreth in ClickHouse не тормозит
Vladyslav Sakun
Если Вы читали документацию, то там написано, что оно суммирует в неизвестный момент времени, а так же ClickHouse может не полностью просуммировать все строки, для этого нужно использовать агрегатную функцию sum и секцию GROUP BY
Просто материальная вьюха суммировала каждые несколько минут, а тут сутки уже висит
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Lazoreth
Просто материальная вьюха суммировала каждые несколько минут, а тут сутки уже висит
Движок не гарантирует что все Ваши записи просуммируются
источник

L

Lazoreth in ClickHouse не тормозит
Vladyslav Sakun
Движок не гарантирует что все Ваши записи просуммируются
Только не просуммировалась ни одна вообще
источник

M

Mishanya in ClickHouse не тормозит
Vladimir Bunchuk
Всем привет!
Вопрос по движку Kafka.
Периодически ловлю такие сообщения:

2021.02.10 10:08:29.829926 [ 22125 ] {} <Warning> StorageKafka (my_kafka_table): Parsing of message (topic: my_topic, partition: 4, offset: 76719) return no rows.

Проверяю сам месседж в кафке, смотрю в кликхаус и вижу что данные из этого месседжа записались в таблицу.
Может ли кто-то подсказать из-за чего такие ворнинги могут быть?
Консьюмеры полят данные, иначе Кафка может посчитать их мёртвыми и будет ребалансировка.
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Lazoreth
Только не просуммировалась ни одна вообще
Тогда посмотрите на свой Primary Key, он суммирует если одинаковый первичный ключ
источник

L

Lazoreth in ClickHouse не тормозит
Ладно, придётся всё-таки в ручную писать да и всё
источник