Всем привет, новичок в кх пока,нужна помощь посчитать дельту(разность).
Есть таблица, в которой есть id продукта, окно предположим 7. есть некое значение shap_value, есть название фичи, их 38 различных и есть дата прогноза. Задача проста, посчитать дельту между определенным днем например 12 числом и 11 числом, притом, что forecast_window == 7
 AND product_id == 837 будут одинаковы, а фичей за конкретный день  при таком фильтре всегда 38.
То есть посчитать тупо разность 38 значений одного дня - 38 значений другого.
Вообще не нахожу в КХ методов чтобы это сделать, хоть задача и простая вроде

Не думаю, что подойдут офсеты, за день данных 62000*4, такой огромный оффсет делать не очень наверно. Тем более вообще следующая задача посчитать дельту 38 значений сегодняшнего дня - 38 значений среднего за 7 предыдущих дней. Тут наверно через что-то другое надо, но не хватает знаний как это сделать

Вроде в query_log нет insert ?

там все есть
только INSERT там без данных которые вы вставляете... а так,  память покажет... и байты ... и кажется кол-во строк... (но это не точно)

Коллеги подскажите пожалуйста ловлю ошибку уже пару часов бьюсь ```DB::Exception: Table columns structure in ZooKeeper is different from local table structure: Cannot attach table```
Используется 2 сервера кх 1 шард и 1 зукипер.
Как можно пофиксить?

добрый день всем. Подскажите, пожалуйста, возможно кто-то сталкивался с вопросом загрузки данных из существующей таблицы Clickhouse на движке MergeTree() в существующую на том же движке, но с другим ключом сортировки данных. Исходная таблица содержит порядка 14 миллиардов строк (1 строка - это некий 1 ивент). Есть ли проблемы, связанные с выполнением такого запроса insert select? И насколько это ресурсозатратная операция в плане потребления оперативной памяти?

Скажите, имеет ли смысл юзать КХ для хранения пользовательских логов, которые при этом иногда нужно обновлять.

логи которые "нужно обновлять" нельзя называть логами

или имеются ввиду логи которые прилетают старым периодом?

ну можно ReplacingMergeTree использовать, если знаете по каким параметрам будете сравнивать что с чем надо обновить
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replacingmergetree/

а можно просто в селекте эт оучитывать и ничего обновлять не придется

она вроде как стриминговая, по частям данные отправляются

проблем особых быть не должно по памяти
только по диску и CPU для сортировки

память выделяет для INSERT примерно 2 мегабайта на колонку
данные в процессе вставки из исходной таблицы бьет по умолчанию по блокам по миллиону записей
и уже его сортирует...

ORDER BY в SELECT добавлять не надо
селект должен получиться steamable
тоже какую то память жрет, на буфера для чтения...

возможно придется добавить в запрос что нибудь типа
SETTING max_partitions_per_insert_block=XXX


для пробы можно сделать
INSERT INTO ... SELECT ... FROM  WHERE date BETWEEN ...  SETTINGS ...
и проверить какие выходные данные получатся сравнить через system.parts
размеры в исходной и конечной таблице

а какая вам нужда менять ORDER BY?
вы туда что-то добавить хотите?
что? низкокардинальное надеюсь?

да, низкокардинальное, связано с оптимизацией под несколько основных запросов

спасибо огромное за информацию) сейчас попробую

низкокардинальное лучше поближе к началу ORDER BY добавлять

ок, об этом знаю, спасибо)

Друзья, кто-то подключался к клику через Табло на Mac OS?

В западную страховую компанию требуется программист 1С, с опытом работы в страховых компаниях, некредитных финансовых организациях, консалтинга.

Условия:
-Оплата: 180 000-200 000 Гросс;
-Оформление согласно ТК РФ;
-Доплата по больничному листу, ДМС, страхование от НС, страхование жизни, подарок на день рождения.
Требования:
-Высшее профильное образование.  
-Опыт работы разработчиком на платформе 1С от 3 лет.
-Уверенные навыки разработки на 1С 8.3.
-Понимание принципов работы современных технологий интеграции и обмена данными (веб-сервисы, soap, json, xml).
-Опыт администрирования систем на платформе 1С: Аксиома, Аванкор, Финансист, Sintegro.
-Опыт работы с продуктами Atlassian Jira, Confluence.
Обязанности:
-Доработка существующих типовых и нетиповых конфигураций.
-Взаимодействие с компаниями-разработчиками бизнес приложений, постановка и контроль выполнения задач, тестирование, передача реализованного функционала пользователям.
-Поддержка интеграционных механизмов бизнес приложений на платформе 1С.
-Разработка SQL запросов.
-Подготовка документации, ведение базы знаний по разрабатываемому и дорабатываемому функционалу.
-Консультирование и обучение пользователей бизнес приложений. Резюме направлять @Ekaterina_kst

блин