а не подскажите как могло бы такое произойти:
удалили данные за два дня из КХ, далее залили новые на эти дни. Делаем выборку с учетом этих дней ограничение по датам - данные получаем все, делаем выборку на день больше, выборка пустая.
То есть нет в выборке данных старше этого дня, хотя по факту они там есть.

мерж нельзя убить, он не связан с сессией и запросом optimize. Optimize лишь инициирует мерж.

что значит удалили?
версия кх ?

alter table delete
20.1.3.7

Может быть ошибка "Invalid cross-device link" из-за того, что после установки КХ
остановил сервер, перенес папки /data /store /user_files на HDD, создал для них
Symlink-и на прежних местах в папке КХ и запустил сервер. Сервер работает,
но такие вот непонятные вещи...

20.1.3.7 + delete скораптил первичный ключ
обновлятся надо было год назад, когда это исправили

конечно это из-за переноса.
ch не может хардлинки теперь создавать
надо было делать все не так

можно ли на текущем варианте что-то поправить?

обновляться и переливать insert select в новую таблицу

А как правильно перенести КХ на HDD ?

вариантов куча
* замаунтить hdd в /var/lib/clickhouse
* использовать data_path ( поправить все сетинги с /var/lib в config.xml на каталог hdd )
* использовать volums policy.

Спасибо за список правильных вариантов переноса. Свой теперь исключу из практики )

20.1.16.120 обновляться сюда с 20.1.3.7

спасибо

да мы скоро переедем на v21.2.6.1-stable

100% попадание!!
Большое спасибо, именно в этом и было дело!

Вчера я на стенде в схеме поле ReplicatedMergeTree таблицы, в которой при слияниях партов время от времени происходили ошибки "Checksums of parts",  изменил выражение для DEFAULT.
Вместо
DateTime DEFAULT now() TTL toDate(end_datetime) + toIntervalDay(1)
на
DateTime DEFAULT 0 TTL toDate(end_datetime) + toIntervalDay(1)
(наличие TTL на столбце было у меня было необходимым условием появления ошибки Checksums).

Всё остальное то же самое.
Результат: 35B+ записей перемололо, но ни на одной из нод с момента коррекции DEFAULT выражения ошибка "Code 40: Checksum of parts doesn't match" больше не произошла.

Issue я обновлю.

ч

всем привет.

а кто-нибудь укладывал в клик данные из кафка+авро, где одно из полей было бы массивом записей? что имею в виду:

есть схема авро, в которой одно из полей выглядит так

{
      "name": "some_objects",
      "type": {
        "type": "array",
        "items": {
          "type": "record",
          "name": "SomeRecord",
          "fields": [
            {
              "name": "field1",
              "type": "long",
              "default": 0
            },
            {
              "name": "field2",
              "type": "boolean",
              "default": false
            }
          ]
        }
      },
      "default": []
    },

и есть запрос для создания таблицы, где поле описано как

some_objects Nested
  (field1 Int64,
   field2 String),

таблица успешно создается, но при чтении вылетает Field some_objects.field1 not found in Avro schema.

с одной стороны это логично, потому что там лежит внутри не record, а массив record. но с другой стороны - я не могу в клике создать Array(Nested). какой тогда должен быть тип?

(нашел похожий кейс - https://github.com/ClickHouse/ClickHouse/issues/9707, но тут нет массива, просто вложенная запись)