DC
Добрый день! Есть ли некий оптимальный (или максимальный) объем сжатых данных на один шард CH?
нет и не может быть
Size: a a a
2020 June 16
RK
Нет никакого сайзинг гайда?
DC
в одном приложении я храню около 100TБ на шарде, в другом 1TБ
в первом приложении пишутся сырые json, в таблицу из одного поля, и очееень редко читаются
во втором 500 полей в таблице и тысячи запросов в день
в первом приложении пишутся сырые json, в таблицу из одного поля, и очееень редко читаются
во втором 500 полей в таблице и тысячи запросов в день
KK
да нет, на слуху, я делаю мутации раз в пол-года, еще ни разу само успешно не завершилось, и все время по разным причинам (было необходимо ручное вмешательство)
а есть сервисная команда для удаления очереди всех мутаций (select * from system.mutations where parts_to_do>0)?
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
KM
а есть сервисная команда для удаления очереди всех мутаций (select * from system.mutations where parts_to_do>0)?
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
DC
а есть сервисная команда для удаления очереди всех мутаций (select * from system.mutations where parts_to_do>0)?
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
в https://github.com/ClickHouse/ClickHouse/issues/2588 ссылаются на некую KILL MUTATION но описания по этой команде в доках нет
kill mutations where parts_to_do>0
pk
Добрый день! Есть ли некий оптимальный (или максимальный) объем сжатых данных на один шард CH?
обычно объем слишком большой если а) запросы отвечают слишком медленно потому что много читают с одной машины, б) хосты слишком долго переналиваются или слишком долго синкаются рейды. в какой момент количество переходит в качество, каждый сам для себя решает.
KM
SELECT id, max(x) FROM another_table GROUP BY id format Null тоже падает?Тоже падает =(
DC
Тоже падает =(
а какая точно ошибка и какая версия КХ, в 20.4 сделали автоматическое вычисление total которое работает пока не очень
KK
стыдно.. но поиском она всё равно не находится. спасибо
M
Господа, есть простой вопросик
если создать колонку FixedString(2) default ‘’ # or null
это вообще нормально будет работать ?)
если создать колонку FixedString(2) default ‘’ # or null
это вообще нормально будет работать ?)
KM
а какая точно ошибка и какая версия КХ, в 20.4 сделали автоматическое вычисление total которое работает пока не очень
Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 10.55 GiB (attempt to allocate chunk of 65828624 bytes), maximum: 10.55 GiB.
20.4, но тоже было и в 20.3, 20.2
На этой машине всего 12 ГБ, схожий запрос на другой машине с большой оперативкой занял 70ГБ
20.4, но тоже было и в 20.3, 20.2
На этой машине всего 12 ГБ, схожий запрос на другой машине с большой оперативкой занял 70ГБ
DC
Господа, есть простой вопросик
если создать колонку FixedString(2) default ‘’ # or null
это вообще нормально будет работать ?)
если создать колонку FixedString(2) default ‘’ # or null
это вообще нормально будет работать ?)
зависит от версии КХ, недавно чинили, я бы написал default ' '
M
зависит от версии КХ, недавно чинили, я бы написал default ' '
DC
Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 10.55 GiB (attempt to allocate chunk of 65828624 bytes), maximum: 10.55 GiB.
20.4, но тоже было и в 20.3, 20.2
На этой машине всего 12 ГБ, схожий запрос на другой машине с большой оперативкой занял 70ГБ
20.4, но тоже было и в 20.3, 20.2
На этой машине всего 12 ГБ, схожий запрос на другой машине с большой оперативкой занял 70ГБ
пробуйте set aggregation_memory_efficient_merge_threads=1 , 2 , -- это кол-во потоков которые собирают финальный результат
а total вы сами задали? 10.55 ?
а total вы сами задали? 10.55 ?
DC
ну тогда обязательно ' '
KM
пробуйте set aggregation_memory_efficient_merge_threads=1 , 2 , -- это кол-во потоков которые собирают финальный результат
а total вы сами задали? 10.55 ?
а total вы сами задали? 10.55 ?
Странным образом у меня в юзер-конфиге max_memory_usage = 32ГБ, которых у меня нет =) Спасибо, попробую с потоками
SD
Привет, ребят!
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
SD
Привет, ребят!
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
и почему вообще есть ограничение на количество партишенов? на что это влияет?
DC
Привет, ребят!
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
Такой вопрос, сколько партишенов считается допустимым для таблички? Ключ - LowCardinality строка меньше 20 символов и дата
Можно ли как-то помержить партишены, когда они уже залиты?
Вариант с 2 табличками где лежит по половине партишенов лучше, чем вариант с одной, где лежат все?
>сколько партишенов считается допустимым для таблички
если раид из HDD то до 1000
если nvme то можно и 10000, но возможно сломаются мутации если таблица replicated
>Можно ли как-то помержить партишены, когда они уже залиты?
изменить партиционирование ? нельзя.
>Вариант с 2 табличками
почти без разницы
прунинг анализ на 100000 партов занимает 30мс., если табличек две по 50тыс партов, то 15мс
мутации на 100000 партов не работают, на 50тыс. возможно будут.
если раид из HDD то до 1000
если nvme то можно и 10000, но возможно сломаются мутации если таблица replicated
>Можно ли как-то помержить партишены, когда они уже залиты?
изменить партиционирование ? нельзя.
>Вариант с 2 табличками
почти без разницы
прунинг анализ на 100000 партов занимает 30мс., если табличек две по 50тыс партов, то 15мс
мутации на 100000 партов не работают, на 50тыс. возможно будут.