ВВ
но селекты то бегают... Ну ок, раз нормально, знач нормально
Size: a a a
2021 January 11
DC
Тоже бы не отказался. Но я серьезно, есть ли какие-то варианты или я чего-то не понимаю в бест практис?
Про первичный ключ долго рассказывать. Лень.
Главный вопрос: А почему КХ ? Почему не victoria metrics?
Главный вопрос: А почему КХ ? Почему не victoria metrics?
c
А ведь в КХ можно ведь шардинг на самого себя, напомните пжл? I mean, internal sharding, когда на одном и том же серваке (в одном инстансе кх) создаешь таблицу, одну Distributed, а одну на базе *Tree?
A
А ведь в КХ можно ведь шардинг на самого себя, напомните пжл? I mean, internal sharding, когда на одном и том же серваке (в одном инстансе кх) создаешь таблицу, одну Distributed, а одну на базе *Tree?
Да
c
вот, спс
A
Про первичный ключ долго рассказывать. Лень.
Главный вопрос: А почему КХ ? Почему не victoria metrics?
Главный вопрос: А почему КХ ? Почему не victoria metrics?
Не смотрели на нее даже, честно говоря. Базово нужен реалтайм поиск по 400+ колонкам редкие обновления/замена и компрессия на хранение больших объемов. Там есть такое?
A
Плюс использование как долгосрочное хранилище
DC
Не смотрели на нее даже, честно говоря. Базово нужен реалтайм поиск по 400+ колонкам редкие обновления/замена и компрессия на хранение больших объемов. Там есть такое?
таймсириес и 400колонок? Что-то в консерватории у вас не так.
A
таймсириес и 400колонок? Что-то в консерватории у вас не так.
Ну условный таймсайрес очень. Там не большой рпс на запись
A
Таймсайрес скорее в плане того, что смотреть на них потом пользователям надо по времени их записи туда
D
часто видим такое, кто может подсказать кроме места на диске, что ещё используется для подсчёта current maximum?
Not executing log entry MERGE_PARTS for part 20210111-14_396_408_2 because source parts size (23.35 MiB) is greater than the current maximum (4.45 MiB).
ok, я эт уже спрашивал и решал же ) гребаная экспонента
max_size = interpolateExponential(
data_settings->max_bytes_to_merge_at_min_space_in_pool,
data_settings->max_bytes_to_merge_at_max_space_in_pool,
static_cast<double>(free_entries) / data_settings->number_of_free_entries_in_pool_to_lower_max_size_of_merge);
DS
спасибо, помогло!
А
Подскажите, нужно перелить около 7 ТБ данных из ClickHouse в Distributed table ClickHouse. Как это правильней сделать? Тупо переливкой через ClickHouseClient. Или городить скрипт, который будет переливать частями? Бывают проблемы с сетью и не хочется непредвиденного завершения или большого дублирования данных.
ДУ
/report
DC
Подскажите, нужно перелить около 7 ТБ данных из ClickHouse в Distributed table ClickHouse. Как это правильней сделать? Тупо переливкой через ClickHouseClient. Или городить скрипт, который будет переливать частями? Бывают проблемы с сетью и не хочется непредвиденного завершения или большого дублирования данных.
ну clickhouse-copier делает это кусками, по партициям, в паралель, проверяет результат и автоматически ретраит
DC
но вообще можно и rsync-м, если не нужен шардинг
А
Спасибо, только что про него прочитал. Ща буду разбираться
2021 January 12
e
таймсириес и 400колонок? Что-то в консерватории у вас не так.
У меня одна из задач примерно такая же. Данные льются батчами каждый день. Это новое состояние системы на определенный день. - агрегаты с плавающим окном (-30 дней.) 150 показателей на 50 млн записей. Т.е. дата это партиция , которая адресует расчет на определенное утро.+ ещё хочется индекс что бы быстро искать по такой партиции. Насколько это нормальный кейс для КХ ?
DC
У меня одна из задач примерно такая же. Данные льются батчами каждый день. Это новое состояние системы на определенный день. - агрегаты с плавающим окном (-30 дней.) 150 показателей на 50 млн записей. Т.е. дата это партиция , которая адресует расчет на определенное утро.+ ещё хочется индекс что бы быстро искать по такой партиции. Насколько это нормальный кейс для КХ ?
ну я ничего не понял. Предыдущий тоже хотел непонятного. Зачем нужна там сортировка по дате, если по сути она ничего вообще не дает.
e
Ну да , для меня это атрибут - признак расчета . Если отстраниться от первичного вопроса , для моего случая как движок таблиц подойдёт ?