Данные можно посчитать на каждом шарде независимо а результат сложить?

угу, спутал
@gleb_kucherenko

SELECT a, toNullable(b) as b_n, uniq(c) from test.rollup GROUP BY a, b_n WITH CUBE having b_n is not null

видимо только так но за перф не поручусь - нуллаблы(

Если вы не будете передавать данных много между шардами - шардирование работает

Доброго времени суток!

Использую odbc для коннекта к postgresql. Ситуация аналогична описанной в ишью:
https://github.com/ClickHouse/ClickHouse/issues/9363

Обрезаются данные в строках до 1023 символов.
Кто с таким сталкивался? Может есть какое решение, которое позволит в CH селектить из PG строки длиннее 1023 символов без обрезки?

финальная агрегация может быть самой долгой стадией, но ее можно выключить если шардирование позволяет

это баг, и он не починен. Видимо до 19й версии (до odbc-bridge) это работало (в бридже сломался параметр odbc_max_field_size)

Спасибо за информацию!

Получается, заставить работать длинные строки через odbc не получится и стоит попробовать, к примеру jdbc драйвер?

не знаю, не пробовал. Я вообще только http использую, потому что остальное слишком убого (по моим стандартам) и пользоваться всем кроме http нереально. Внутри яндекса похоже тоже только http, поэтому остальное им не интересно.

Если говорить о пути "пересчитывать и перекладывать", то это нужно будет делать через REPLACE PARTITION?

Не видел в этом чате подобных сообщений, но надеюсь, что по адресу. Хочу найти специалиста для платных консультаций по СН (оцениваю объем в 10-20 часов)

Рассматриваем CH, как возможную замену текущему хранилищу исторических данных на MSSQL и оперативному на PostgreSQL с потоком данных в 500 млн строк в день с последующим ростом в 4 раза. Сфера применения - антифрод система, работающая в near real-time + обучение моделей и проверка гипотез для этой системы на исторических данных.

Мы уже провели ряд тестов CH (ещё раз спасибо ребятам из этого чата за подсказки), и сейчас нам нужна помощь, чтобы решить, подходит ли нам этот продукт (частично, как OLAP решение, или целиком, как HTAP решение), и если да, то
1) подобрать оптимальное железо
2) построить схему хранения данных
3) понять, какие инфраструктурные изменения нам потребуются, чтобы мигрировать на CH
4) составить вакансию DBA, и помочь с техническими собеседованиями

Прошу написать мне, если сами можете проконсультировать, или знаете, к кому обратиться

{
  "meta": {
    "page_size": 2,
    "page_number": 1,
    "sort": "id",
    "size": 2
  },
  "data": [
    {
      "id": 135230,
      "type": "site",
      "counts": {},
      "extra_fields": {},
      "relationships": {},
      "extra_attributes": {},
      "human_attributes": {
        "status": "On Air"
      },
      "attributes": {
        "name": "XX001",
        "status": "on_air",
        "p_lat": 50.11975,
        "p_lon": 83.21482,
        "id": 135230
      }
    },
    {
      "id": 135231,
      "type": "site",
      "counts": {},
      "extra_fields": {},
      "relationships": {},
      "extra_attributes": {},
      "human_attributes": {
        "status": "On Air"
      },
      "attributes": {
        "name": "XX002",
        "status": "under_installation",
        "p_lat": 51.11181,
        "p_lon": 83.19406,
        "id": 135231
      }
    }
  ],
  "included": [],
  "user": {
    "options": {}
  }
}

Коллеги, привет. У меня сейчас подобная задача. Правильно я понимаю, что ничего кроме предобработки и пребразования этого JSON, например в csv, не придумать? А источник обновления словаря будет executable?

Ну можно в самом кх сделать такое преобразование, но это просто перекладывание из одного места в другое

а если делать на стороне КХ, то какого типа будет словарь? Какой будет FORMAT? Если внешний API всегда возвращает только один JSON объект... Причем в pretty json

Хотя такой  Pretty JSON возможно не получится запихать в одно значение,
ну тогда можно скорее всего сделать через exec curl + jq

Вы оцениваете объём перечисленной работы в 2 рабочих дня (~16 часов), если бы она выполнялась собственным сотрудником на полной ставке?

Понимаю, что выглядит, как слишком мало. Но
1) это оценка, а не фиксированная цифра, и если она вырастет в несколько раз, то это ок
2) у меня несколько разные ожидания на консалтинг и работу фуллтайм сотрудника. Я не ожидаю от консультанта создания и настройки кластера под ключ.

Мне надо понять границы применимости технологии, проблемы, с которыми столкнемся при разработке сервисов, и способы их обхода, и, если будет понятно, что технология нам подходит, то помочь в найме фуллтайм сотрудника, который уже будет это все настраивать и оптимизировать

И наверное также понимаете что оценка  ожидаемого дохода потенциальным специалистом (который сможет ответить на все поставленные вопросы и поможет с наймом), будет тоже пропорциональна этим 10-20часам. А верхнее ограничение по стоимости часа тоже есть? Или тут уже сколько фантазия исполнителя подскажет?

Про пропорциональность дохода не сильно понял. Прошлые два раза, когда я работал с консультантами, но не по СН, а по другим технологиям, но в подобном формате, то просто фиксировалась стоимость часа, и мы работали, пока не решалась задача.
Касательно стоимости часа, считаю, что это лучше обсудить в личке)

спросите у этих товарищей лучше
https://clickhouse.tech/docs/ru/commercial/support/

если вам покажется что дорого, то хотя бы сможете озвучить свою цифру на основе их оценок...

да, я тоже думаю что это уже оффтопик