SK
Раз в час(
Size: a a a
2020 May 20
SK
Или чучуть реже
DT
на какую глубину во времени могут прилетать обновления?
SK
Самая тяжёлая заежает 7 минут
DT
нет, ты не поня
DT
есть у тебя данные допустим вчерашние
может ли прилететь обновления на них?
может ли прилететь обновления на них?
SK
Да, может и за прошлый месяц все поменяться. Разброс большой. Ассортимент товаров например, там самая жесть
K
Подскажите в чем проблема?
в detached лежат партиции, таблица system.detached_parts их видит.
по наименованию партиции пытаюсь прикрепить и падает с ошибкой:
DB::Exception: Marks file '/var/lib/clickhouse/data/default/trips_mergetree/detached/attaching_20090601_20090630_17258_24250_4/vendor_id.mrk' doesn't exist (version 20.4.2.9 (official build))
в detached лежат партиции, таблица system.detached_parts их видит.
по наименованию партиции пытаюсь прикрепить и падает с ошибкой:
DB::Exception: Marks file '/var/lib/clickhouse/data/default/trips_mergetree/detached/attaching_20090601_20090630_17258_24250_4/vendor_id.mrk' doesn't exist (version 20.4.2.9 (official build))
DT
Вы можете писать запросы таким образом, что бы дубликаты/обновления вам не мешали? argMax, max и тд
DT
Подскажите в чем проблема?
в detached лежат партиции, таблица system.detached_parts их видит.
по наименованию партиции пытаюсь прикрепить и падает с ошибкой:
DB::Exception: Marks file '/var/lib/clickhouse/data/default/trips_mergetree/detached/attaching_20090601_20090630_17258_24250_4/vendor_id.mrk' doesn't exist (version 20.4.2.9 (official build))
в detached лежат партиции, таблица system.detached_parts их видит.
по наименованию партиции пытаюсь прикрепить и падает с ошибкой:
DB::Exception: Marks file '/var/lib/clickhouse/data/default/trips_mergetree/detached/attaching_20090601_20090630_17258_24250_4/vendor_id.mrk' doesn't exist (version 20.4.2.9 (official build))
а этот файл то существует?
K
ссори, проверю
K
а этот файл то существует?
существует.
но путь который указывает именно вот это место(attaching_20090601_20090630_17258_24250_4) - его не существует
но путь который указывает именно вот это место(attaching_20090601_20090630_17258_24250_4) - его не существует
DT
существует.
но путь который указывает именно вот это место(attaching_20090601_20090630_17258_24250_4) - его не существует
но путь который указывает именно вот это место(attaching_20090601_20090630_17258_24250_4) - его не существует
возможно это временный путь, хм
K
возможно это временный путь, хм
ошибку нашел, приаттачил, но данных не появилось. А в каком файле можно проверить, что данные вообще были в той партиции
SK
Вы можете писать запросы таким образом, что бы дубликаты/обновления вам не мешали? argMax, max и тд
К сожалению не можем переложить все на запросы. Большое количество дублей, производительность сильно просядет. И большое количество пользователей этими данными, уже очень большой пул запросов создан. BI проект
DT
ошибку нашел, приаттачил, но данных не появилось. А в каком файле можно проверить, что данные вообще были в той партиции
ну, если объем ее не нулевой. то что то должно было там быть
DT
можно создать пустую таблицу, приатачить туда эту партицию и посмотреть, какие данные будут
K
вся партиция 700 мб
K
можно создать пустую таблицу, приатачить туда эту партицию и посмотреть, какие данные будут
я так и делаю
DT
К сожалению не можем переложить все на запросы. Большое количество дублей, производительность сильно просядет. И большое количество пользователей этими данными, уже очень большой пул запросов создан. BI проект
Ну еще бывают такие варианты:
некоторые часто изменяемые данные, факты можно вынести в словари, маленькие таблицы для JOIN.
но не везде поможет
некоторые часто изменяемые данные, факты можно вынести в словари, маленькие таблицы для JOIN.
но не везде поможет