Если можно, расскажите пожалуйста чуть подробнее, это как раз наша задача ((

Всем доброго времени суток.
Пытаюсь читать из MS SQL через clickhouse-jdbc-bridge.
При любом запросе получаю

Can not map SQL type 3 (DECIMAL) to ClickHouse

Нашел issue на гитхабе (https://github.com/ClickHouse/clickhouse-jdbc-bridge/issues/14) МР (https://github.com/ClickHouse/clickhouse-jdbc-bridge/pull/52) по этому поводу, который почему-то закрыт. Проблема все равно есть. Сталкивался ли кто?

У меня распозновал, я писал что-то типа такого в pyspark
df.write.jdbc(url=CH_URL, table="prodlog_temp.log", mode="append")
предварительно подкинув в спарк jdbc-драйвер и оно работало

Читал данные из разных источников Pyspark-ом, что-то делал с данными и результат писал в КХ. Что имено нужно?

да что именно, мне нужно чтобы из него была возможность перегрузить в Клик сформированные широкие таблицы с колонками - массивами. вдруг у Вас была одна из проблем в том числе и с этим, потому и попросил уточнить...

Была, но там уже вышел spark 3.0, может уже не актуальна проблема с массивами, пробуйте

ну не полностью поддерживается) Может, что-то уже изменилось, но когда я этим занимался, то многие вещи сделать не получалось. Например, спарк не понимал, что же это такое LowCardinality и т.д.

в свое время писал удобный плагин для спарка, которые легко читал/писал КХ, но он пока так и остался в фирме, для которой я писал..

Всем привет, прочитал про prewhere, но немного не понял. Поясните, плиз, я так понимаю, он может сработать, а может не сработать? Когда он не срабатывает, оптимизация не происходит, результат гарантируется тот же что и при where? То есть нет же необходимости писать:

SELECT * FROM table PREWHERE some_cond WHERE some_cond

Ребят, кто-то сталкивался с такой ошибкой при использовании движка или функции ODBC ?
Как это вылечить?

DB::Exception: Failed to parse quoting style from '"' for service clickhouse-odbc-bridge.

все привет! подскажите плиз, получаю DB::Exception: Too many parts (393) ключ партиционирования PARTITION BY user_id % 100. Данные вставляются с интервалом 5 минут по 400-600 user_id. Интересует, какой лимит на парты в течении часа? подозреваю что лимит может быть привышен за 10 инсертов

дефолтный лимит вроде 300 партов. На каждый инсерт у вас создается до сотни партов, итого в худшем случае вы упретесь в лимит через 15 минут :)

Всем привет, а кто нибудь сталкивался с copier? Он вообще рабочий?
Я получаю ошибку:

e.displayText() = DB::Exception: Is not extended deginition storage  ENGINE = ReplicatedCollapsingMergeTree('/clickhouse/tables/01/orders', '01', StartDate, intHash32(UserID), (CounterID, StartDate, intHash32(UserID), VisitID), 8192, Sign)

Особенно радует: Will be fixed later., Stack trace...

я по сути как в доке описано, беру из show create table engine и его конфигурацию шардов и тд

Ну или может есть какие нибудь способы переезда в новый кластер всех данных?

можно зацепить на тот же зукипер, создать таблицы, оно отреплицирует

при этом пока реплицирует в remote_servers не указывать новые хосты, чтоб в них точно никто не попал пока они не готовы

а потом переключить на новые зк?