D
это просто настройка, уже запилена)
а как называется? что-то в 20.3 не обнаружил в mt-settings/settings
Size: a a a
2020 June 24
l
а как называется? что-то в 20.3 не обнаружил в mt-settings/settings
<always_fetch_merged_part>1</always_fetch_merged_part>
кмк оно
кмк оно
AS
<always_fetch_merged_part>1</always_fetch_merged_part>
кмк оно
кмк оно
ага
l
точно, а дальше магия, эльфы ее проверяют ?
Да вроде она работает
DC
да, у нас вообще дедлок был.
запустили materialize TTL (потому что авто ттл кривой и дропает слишком медленно ttl_only_drop_parts=1).
оказалось materialize TTL тоже кривой (сука) и перезаписывает все парты даже при ttl_only_drop_parts=1, все по канону с распаковыванием и запаковыванием )
merge не шли потому что mutate зависли изза number_of_free_entries_in_pool_to_execute_mutation
а merge не шли из-за max_bytes_to_merge_at_min_space_in_pool
——
сейчас убрали лимит на mutation, включили лимит
но факт в том, что сейчас вся база читается и пишется просто так...
запустили materialize TTL (потому что авто ттл кривой и дропает слишком медленно ttl_only_drop_parts=1).
оказалось materialize TTL тоже кривой (сука) и перезаписывает все парты даже при ttl_only_drop_parts=1, все по канону с распаковыванием и запаковыванием )
merge не шли потому что mutate зависли изза number_of_free_entries_in_pool_to_execute_mutation
а merge не шли из-за max_bytes_to_merge_at_min_space_in_pool
——
сейчас убрали лимит на mutation, включили лимит
но факт в том, что сейчас вся база читается и пишется просто так...
мержи не идут потому нет места в пуле
место забукано мутациями которые не идут потому что пул занят мержами?
как-то непонятно, как это
место забукано мутациями которые не идут потому что пул занят мержами?
как-то непонятно, как это
DC
ну я про то что это не просто настройка, там еще кода немного
l
А, поня
Единственное не хватает некоторой задержки, что бы не все подряд парты скачивались, а только те, которые минут 10+ уже прожили
Единственное не хватает некоторой задержки, что бы не все подряд парты скачивались, а только те, которые минут 10+ уже прожили
DC
А, поня
Единственное не хватает некоторой задержки, что бы не все подряд парты скачивались, а только те, которые минут 10+ уже прожили
Единственное не хватает некоторой задержки, что бы не все подряд парты скачивались, а только те, которые минут 10+ уже прожили
тогда реплика будет отставать на 10мин., кажется это тоже хотели запилить -- отстающие реплики
l
тогда реплика будет отставать на 10мин., кажется это тоже хотели запилить -- отстающие реплики
ну и плевать, это для бекапов.
Да хотели, но ишью-фичу закрыли емнип никто не изъявил желание в такой штуке
Да хотели, но ишью-фичу закрыли емнип никто не изъявил желание в такой штуке
D
мержи не идут потому нет места в пуле
место забукано мутациями которые не идут потому что пул занят мержами?
как-то непонятно, как это
место забукано мутациями которые не идут потому что пул занят мержами?
как-то непонятно, как это
как-то так
сам не понял.
после убирания number_of_free_entries_in_pool_to_execute_mutation и увеличения max_bytes_to_merge_at_min_space_in_pool все пошло. До этого в цикле логировало
поэтому вопрос, как вообще из queue элементы берутся?
max_replicated_merges_in_queue=32
max_replicated_mutations_in_queue=8
вставок при этом не шло совсем!
может ли быть такое что replicatedMT сначала забивает background thread, и только потом проверяет количество свободных threadов в пуле, убеждается что по лимитам не пролезаем и релизит?
сам не понял.
после убирания number_of_free_entries_in_pool_to_execute_mutation и увеличения max_bytes_to_merge_at_min_space_in_pool все пошло. До этого в цикле логировало
schemaname.tblname (ReplicatedMergeTreeQueue): Not executing log entry MUTATE_PART for part 20200620-21-2_1050_1054_1_1064…
поэтому вопрос, как вообще из queue элементы берутся?
max_replicated_merges_in_queue=32
max_replicated_mutations_in_queue=8
вставок при этом не шло совсем!
может ли быть такое что replicatedMT сначала забивает background thread, и только потом проверяет количество свободных threadов в пуле, убеждается что по лимитам не пролезаем и релизит?
MV
Всем привет. Несколько join в одном запросе сейчас возможны только в виде подзапросов?
DS
Добрый вечер, кто-нибудь сталкивался с пустой папкой shadow в резервной копии при использовании clickhouse-backup?
DT
Dmitry S.
Добрый вечер, кто-нибудь сталкивался с пустой папкой shadow в резервной копии при использовании clickhouse-backup?
он очищает папку и переносит все в clickhouse/backup
DS
он очищает папку и переносит все в clickhouse/backup
вот в clickhouse/backup/backup_name/ есть только metadata и пустая shadow, что я делаю не так?
DT
Dmitry S.
вот в clickhouse/backup/backup_name/ есть только metadata и пустая shadow, что я делаю не так?
при создании бекапа выводится список таблиц.
у тебя правильный glob используется?
у тебя правильный glob используется?
SK
Подскажите у меня основные данные в json-е, но некоторые поля я хотел-бы во время insert генерировать самим кликхаусом( uuid) как лучше вставлять данные?
DT
Подскажите у меня основные данные в json-е, но некоторые поля я хотел-бы во время insert генерировать самим кликхаусом( uuid) как лучше вставлять данные?
генерировать или доставать из json?
DS
при создании бекапа выводится список таблиц.
у тебя правильный glob используется?
у тебя правильный glob используется?
я в этом тебе нуб, что такое glob?
SK
генерировать или доставать из json?
Хочу генероровать UUID
VT
Добрый день
Есть необходимость хранить 50 миллионов строк и обновлять 1 колонку со скоростью 1 миллион в час
Что предпочесть CollapsingMergeTree или AggregatingMergeTree ?
Есть необходимость хранить 50 миллионов строк и обновлять 1 колонку со скоростью 1 миллион в час
Что предпочесть CollapsingMergeTree или AggregatingMergeTree ?