МЧ
Al. P.
Может перегрузить кликхаус, чтобы он уж точно поднял новый конфиг (вдруг)?
не помогло
Size: a a a
2021 January 27
ДП
sqlalchemy мб подойдет
спасибо!
LR
Простите. я новичек. но что он хочет?
pk
пользователя default?
LR
разобрался. я же Tabix ставил и в конфиге назначал пароль)
clickhouse-client -u default --password testPasword
теперь надо использовать
clickhouse-client -u default --password testPasword
теперь надо использовать
DL
Написано же. Пароль/логин не тот
DC
в system.mutations.latest_fail_reason в процессе видел ошибки вида "не могу выделить 1-10гб"
в мутациях нельзя использовать select, используйте словари
IA
в мутациях нельзя использовать select, используйте словари
Не используем: заранее селектим 10к значений, а в мутации перечисляем их в where in [].
DC
Не используем: заранее селектим 10к значений, а в мутации перечисляем их в where in [].
это вам апгрейдится надо, это починено.
НО, в любом случае будет проблема, вы же запускаете не одну мутацию, а сразу пачку и в каждой по 10к? ОНи объединяются в одну.
Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)
НО, в любом случае будет проблема, вы же запускаете не одну мутацию, а сразу пачку и в каждой по 10к? ОНи объединяются в одну.
Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)
IA
это вам апгрейдится надо, это починено.
НО, в любом случае будет проблема, вы же запускаете не одну мутацию, а сразу пачку и в каждой по 10к? ОНи объединяются в одну.
Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)
НО, в любом случае будет проблема, вы же запускаете не одну мутацию, а сразу пачку и в каждой по 10к? ОНи объединяются в одну.
Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)
Запускаем по одной, нам много не надо
DC
Запускаем по одной, нам много не надо
запускаем это хорошо. А конца ждете?
IA
Да :) запускаем раз в сутки, и перед запуском проверяем что нет мутаций с is_done=0
IA
Про join и joinGet нтересно, спасибо!
DC
Согласен, drop должен лочить, но drop плохо вяжется с мержем, не думал что мержи и дропы включают
мержи блокируют изменение метаданных таблицы.
VR
мержи блокируют изменение метаданных таблицы.
Но верно я понимаю что это только на минимально необходимый промежуток времени - когда сам мерж на ФС уже завершен и нужно только "свичнуть указатели"? И блокируется вся мета таблицы или только партиции? Мне кажется можно безопасно инсертить в другие партиции
DC
Всем доброго времени суток.
Вопрос: у меня есть талбица с TTL some_date_time + toIntervalDay(30), партииции разбиты по ToStartHour(some_date_time).
Смотрю количество партиций в system.parts для данной таблицы и их значительно больше 720 (30*24). а при детальном разборе партиции старше 30 дней не удаляются, а существуют с нулевым количеством строк.
Насколько это нормально и стоит ли их вычищать, дабы повысить производительность?
Вопрос: у меня есть талбица с TTL some_date_time + toIntervalDay(30), партииции разбиты по ToStartHour(some_date_time).
Смотрю количество партиций в system.parts для данной таблицы и их значительно больше 720 (30*24). а при детальном разборе партиции старше 30 дней не удаляются, а существуют с нулевым количеством строк.
Насколько это нормально и стоит ли их вычищать, дабы повысить производительность?
забейте.
раньше патры нельзя было удалять из середины, поэтому оставались парты с 0 строк.
Сейчас это уже изменено, они удалятся после апргрейда на версию x.u.z
#16895 Remove empty parts after they were pruned by TTL, mutation,
or collapsing merge algorithm.
Anton Popov - Yandex
раньше патры нельзя было удалять из середины, поэтому оставались парты с 0 строк.
Сейчас это уже изменено, они удалятся после апргрейда на версию x.u.z
#16895 Remove empty parts after they were pruned by TTL, mutation,
or collapsing merge algorithm.
Anton Popov - Yandex
ВВ
Парни, привет, подскажите, захотел узнать что с байтами на диске - рабочие базы - 30-100 гиг. А system 400. Что там в ней такое? Может старье какое лежит место занимает?
DC
Но верно я понимаю что это только на минимально необходимый промежуток времени - когда сам мерж на ФС уже завершен и нужно только "свичнуть указатели"? И блокируется вся мета таблицы или только партиции? Мне кажется можно безопасно инсертить в другие партиции
блокируется на все время мержа, на час, на сутки
DC
Но верно я понимаю что это только на минимально необходимый промежуток времени - когда сам мерж на ФС уже завершен и нужно только "свичнуть указатели"? И блокируется вся мета таблицы или только партиции? Мне кажется можно безопасно инсертить в другие партиции
инсерты не меняют структуру и метаданные таблицы
DC
Вячеслав Владимиров
Парни, привет, подскажите, захотел узнать что с байтами на диске - рабочие базы - 30-100 гиг. А system 400. Что там в ней такое? Может старье какое лежит место занимает?
логи там, отключите или настройте TTL
можно drop table / truncate
можно drop table / truncate