https://clickhouse.tech/docs/en/sql-reference/functions/functions-for-nulls/#tonullable
в первой таблице к String примените =)
в clickhouse Varchar это алиас на String
и String универсальный тип для любой длинны

Добрый день, коллеги! Подскажите: Получаю данные из kafka в таблицу и за тем делаю мариалайзед вью по ней. Проблема в том что в таблице из kafka данные появляются, а в таблицу и материалайзед вью не приходят.

код таблиц и вьюхи:

CREATE TABLE kafka_analogs (
   main_product_guid String,
   analog_product_guid String,
   rating UInt8,
   stage_stamp DATETIME
 ) ENGINE = Kafka('10.10.3.171:9092', 'analogs.mow', 'dwh_ch', 'JSONEachRow');

-- DROP TABLE stat_analogs
CREATE TABLE stat_analogs (
   main_product_guid String,
   analog_product_guid String,
   rating UInt8,
   date_stamp UInt32
 ) ENGINE = MergeTree()
 ORDER BY (date_stamp)
 PARTITION BY (date_stamp);
 
-- drop  VIEW  fact_product_analogs
CREATE MATERIALIZED VIEW fact_product_analogs TO stat_analogs
   AS SELECT      
    main_product_guid,
    analog_product_guid,
    rating,
    toYYYYMMDD(stage_stamp) AS date_stamp
   FROM kafka_analogs;

в логах что нибудь смотрели?
запрос корректный в  SELECT для MV?

запрос корректный, логи не смотрел. их можно посмотреть с клиента DBeaver?

ну только если у вас system.text_log  настроен, тогда да

в общем /var/log/clickhouse/clickhouse-server.log посморите на предмет ошибок...
так то на первый взгляд должно работать и данные в stat_analogs должны появляться
в доке
https://clickhouse.tech/docs/ru/engines/table-engines/integrations/kafka/
фактически аналогичный пример

Похоже не настроен. Да делал по примеру и даже пустые строки появлялись когда такие же поля как в примере указывал, потом поменял на свои поля и все пропало, хотя в в таблицу из кафки идут данные

system.errors поглядите еще если есть

Если честно, то я не поняла...
Это через cast...?

SELECT toNullable(field1) ... FROM a
UNION ALL
SELECT field2 ... FROM b

это явное кастование
можно через
CAST(field1, 'Nullable(String)')
но не знаб что будет быстрее явно через функцию кастовать или через универсальную функцию вызов делать
toNullable должен быть быстрее по идее, надо мерять

Спасибо!👍

@den_crane мне лень и я знаю что у вас есть гист =) дайте гист...

https://gist.github.com/mikekytyzov/7503874bde62ce31b3a459d2c98779d4

второй варик работает х3 медленнее

на 4 строках там погода может тупо мешать =)

ну это упрощенный пример, у меня таблица распредленная, два словаря и там полей по пару штук
прост показываю пример как я делаю)

что медленее-то? join ?
что обсуждаем-то? join со словарем автоматически не переписывается в dictGet или что?

да
я вот щас на продукшене чекнул - если джоинить таблицу Engine = Dictionary() на 1ккк записей = 2 секунды, если dictget - 0.1

а если
ANY LEFT JOIN dictionary_as_table on tuple(dictionary_as_table.name) = tuple(source.name)source.name)