И ещё - может быть дело в столбцах с мутациями?

ок, обновлюсь, хорошо

Слушайте, а, вообще, нормально, что КХ рестартует аж 17 минут?

часть данных, правда, на HDD... может, он тормозит

DB::Exception: WRITE locking attempt on "data_flat.flat_temp" has timed out! (120000ms) Possible deadlock avoided. Client should retry

Точно такая же проблема при дропах партов. Партов штук 200 в каждой из 20 таблиц в разных базах
clickhouse-server-20.4.5.36

Через раз выскакивает Possible deadlock avoided

Да-да... какое-то время работает (день-два), потом пытаешься что-то сделать с партициями или удалить/переименовать таблицу - и пишет дедлок. Когда рид, когда райт. И ну ни в какую... стопаешь сервис, стартуешь заново - пишет, что остались обломки партиций, которых "подозрительно много". Лезешь вручную удаляешь, стартуешь снова - заводится. Но заводится ппц как долго. В последний раз заняло 17 минут. После этого всё прочухивается, и можно удалять партиции, переименовывать таблицы и т.д.

А потом всё по новой...

При этом, вставляются данные в таблицу без проблем - всасывается сколько хочешь

Всем привет
а кто нибудь в чатеге имел дело с Dell EMC Amavar?
какой там принцип работы?
это  снапшоты блочного устройства с дедупликацией? или эта штука еще и с точки зрения файловой системы снимает консистентное состояние? то есть если файл например в момент бекапа делается rename и потом в него идет запись... то восстановится только то, что было ДО бекапа со старым именем и содержимым? хочу понять насколько эта штука совместима с текущей моделью работы с файлами в ClickHouse

20.4.4.18, Memory 32011

и давно у вас 300rps на 32ГБ работает?

в смысле до 20.4 работало?

На 19  -  500 rps нагрузку держало(

в общем

v20.4.2.9, 2020-05-12

Added a setting max_server_memory_usage to limit total memory usage of the server. The metric MemoryTracking is now calculated without a drift. The setting max_memory_usage_for_all_queries is now obsolete and does nothing. This closes #10293. #10362 (alexey-milovidov)

в общем КХ пытается посмотреть свой RSS и не позволяет выделить RSS > чем 0.9*32011

вам надо в config.xml задать max_server_memory_usage не 0.9, а например 2

потому что похоже считается не всегда правильно

Всем привет! Столкнулись со странным поведением MV с агрегатными функциями. MV служит для показа последнего актуального значения по id1, id2. Используется три колонки: argMaxState() с числом, maxState c Date и maxState c DateTime. В исходных данных Date и DateTime всегда за один и тот же день. В итоге обнаружили, что при maxMerge для половины строк Date и DateTime имеют разные даты. При чем проблема именно с Date. Например: DateTime = 2020-06-11 05:00:00, а Date = 2020-03-30. И дата эта строк на 50 отстает от максимальной.
Если запустить запросы из MV вручную на сырых данных, то все ок. Если вставить новую строку, то тоже становится ок. С чем может быть связано, что в состоянии оказались сохранены разные значения дат, да еще и с разных строк?

CREATE MATERIALIZED VIEW tmp.last_value_mv
           (`id1` UInt64,
     id2 UInt64,
            last_value AggregateFunction(argMax, Float32, Tuple(DateTime, DateTime)),
            last_date AggregateFunction(max, Date),
            last_datetime AggregateFunction(max, DateTime),
            id2_part_id UInt8 DEFAULT id2 % 50) ENGINE = AggregatingMergeTree() PARTITION BY id2_part_id ORDER BY (id1, id2, last_date) SETTINGS index_granularity = 8192
AS
SELECT id1                                                     AS id1,
      Id2                                                 AS id2,
      argMaxState(value, (last_datetime, created)) AS last_value,
      maxState(last_date)                                AS last_date,
      maxState(last_datetime)                            AS last_datetime,
      id2 % 50                                            AS id2_part_id
FROM tmp.master_table
GROUP BY id1, id2;

а как выглядят запросы к вьюхи?

ORDER BY (id1, id2, last_date)
вообще ORDER BY по maxState выглядит сомнительно

всем доброго времени суток. Подскажите, пожалуйста, какой аналог функции row_number() есть в Clickhouse?