так прямо чтобы при вставке падало нельзя... постфактум убирать дубликаты батчами можно (CollapsingMT, ReplacingMT, DEDUPLICATE)

Спасибо

Всем привет. Подскажите пожалуйста. Пытаюсь понять как в spring boot сделать dbmigration c яндексовским clickhouse?
Попробовал flyway он говорит: FlywayException: Unsupported Database: ClickHouse 20.4

Всем привет, подскажите пожалуйста, параметр max_server_memory_usage_to_ram_ratio устанавливается в процентах ?

в долях. 0-1

в конфе написано
На серверах с небольшим объёмом RAM и файла подкачки может потребоваться настройка max_server_memory_usage_to_ram_ratio > 1.

на локалке не было проблем
на сервере стал загружать данные
выскакивает
Memory limit (total) exceeded: would use 3.46 GiB (attempt to allocate chunk of 4369746 bytes), maximum: 3.46 GiB

привет, при группировке для большой таблицы clickhouse данные которые на помещаются в память отправляет на диск, на системный диск. Где поменять настройку, чтобы скидывал не на системный диск, а на какой-нибудь другой

спасибо

Привет.

Планирую экспортировать данные из MySQL в ClickHouse. Вижу, что в КХ встроена нативная работа с Мускулем, но только с отдельными таблицами. Т.е. запрос с джойнами на стороне КХ не сформировать, надо вьюху делать?

database engine = mysql смотрел?

Проверяйте все параметры связанные с мемори....

Да, но невнимательно: похоже, ограничений по запросам там не заявлено.
Спасибо.

А это вообще нормально, средствами Кликхауса забирать срез свежих данных из внешней БД?

Привет!
Посоветуйте пожалуйста, как оптимальнее всего написать запрос с такой фильтрацией:
Нужно оставить записи, начиная с некоторого события по каждому пользователю.
Например, начиная с посещения определенного URL.

Прямолинейный подход - написать подзапрос, который будет считать время для каждого пользователя, а потом join с основной таблицей и фильтрация по времени - на крайний случай.
Может есть варианты без join-а?

SELECT
    time AS Time,
    pod AS Pod,
    log AS Log
FROM logs
WHERE (time >= toDateTime(1594028956)) AND if('%' = '%', 1 = 1, host = ‘%’)

умеет ли оптимизатор понимать такие запросы (будет ли проверятся условие if для каждой строки или на жтапе оптимизации отбросятся)?

есть, как минимум через GROUP BY, но не уверен, что он будет лучше

Имеешь в виду собрать все в массив, а потом фильтровать записи в массиве?

да