Size: a a a

ClickHouse не тормозит

2020 July 25

D

Dj in ClickHouse не тормозит
Edya
Существует ли какой-нибудь параметр, который бы делал OPTIMIZE TABLE FINAL только по партициям, где больше одного парта, а там где только один ничего не трогал?
Один парт и левел >1 должен быть.

У нас был импрувмент на select final. Думаю optimize final там рядом валяется где нибудь.
источник

E

Edya in ClickHouse не тормозит
Dj
Один парт и левел >1 должен быть.

У нас был импрувмент на select final. Думаю optimize final там рядом валяется где нибудь.
Вопрос в том, есть ли какая-нибудь опция, которая заставит смотреть комманду optimize только в нужные парты (>1 парта).
источник

E

Edya in ClickHouse не тормозит
а что сделали для select final?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Edya
Вопрос в том, есть ли какая-нибудь опция, которая заставит смотреть комманду optimize только в нужные парты (>1 парта).
Нету.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
WAS AV
В КХ есть ограничения или рекомендации по кол-ву партиций?
Партиций должно быть мало. Желательно партиционирование по-месячное. На тысячах партов начиначинаются проблемы.
источник

D

Dj in ClickHouse не тормозит
Edya
а что сделали для select final?
источник

D

Dj in ClickHouse не тормозит
Edya
а что сделали для select final?
Пока ничего не сделали и ни на кого не кинули ) ждем )
источник

E

Edya in ClickHouse не тормозит
Dj
Пока ничего не сделали и ни на кого не кинули ) ждем )
>>This will guarantee that previous days/hours/weeks/month

решаю похожую задачу. Пришел к такому решению:
- делаю словарь, где будет одна строчка - дата последнего optimize
- условный крон, который схлопывает все, что нужно и обновляет словарь
- аналитики в запросах делают фильтр < дата из словаря

Профит. Для ReplacingMergeTree имеем всегда схлопнутые данные для отчетов, пусть и с задержкой длинной в интервал крона
источник

D

Dj in ClickHouse не тормозит
Edya
>>This will guarantee that previous days/hours/weeks/month

решаю похожую задачу. Пришел к такому решению:
- делаю словарь, где будет одна строчка - дата последнего optimize
- условный крон, который схлопывает все, что нужно и обновляет словарь
- аналитики в запросах делают фильтр < дата из словаря

Профит. Для ReplacingMergeTree имеем всегда схлопнутые данные для отчетов, пусть и с задержкой длинной в интервал крона
Ну, на данный момент у меня проблема решена не использованием КХ )) но ждем. На митапе обещали к понедельнику запилить. Забыл уточнить к какому ))
источник

D

Dj in ClickHouse не тормозит
Edya
>>This will guarantee that previous days/hours/weeks/month

решаю похожую задачу. Пришел к такому решению:
- делаю словарь, где будет одна строчка - дата последнего optimize
- условный крон, который схлопывает все, что нужно и обновляет словарь
- аналитики в запросах делают фильтр < дата из словаря

Профит. Для ReplacingMergeTree имеем всегда схлопнутые данные для отчетов, пусть и с задержкой длинной в интервал крона
Запилите подобный issue на optimize тоже. Вместе ЯМы сильнее =)
источник

E

Edya in ClickHouse не тормозит
Dj
Запилите подобный issue на optimize тоже. Вместе ЯМы сильнее =)
зачем повторяться. Добавил плюсиков в твой
источник

D

Dj in ClickHouse не тормозит
Мой не про оптимайз просто
источник

Е

Екатерина in ClickHouse не тормозит
здравствуйте. скажите, пожалуйста, а должны ли работать запросы вида:
select a, (select b from tab2 where tab2.a = tab1.b)
from tab1
на моей памяти в какой-то версии, еще при ранных экспериментах, это работало.
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
Всем привет. Есть две реплики. Скажите, если на реплике 1 поменяю поле (изменю required = false) и на второй также, то может что-то сломаться?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Екатерина
здравствуйте. скажите, пожалуйста, а должны ли работать запросы вида:
select a, (select b from tab2 where tab2.a = tab1.b)
from tab1
на моей памяти в какой-то версии, еще при ранных экспериментах, это работало.
Не должны и никогда не работали
источник

Е

Екатерина in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Не должны и никогда не работали
спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Philipp Shayzhanov
Всем привет. Есть две реплики. Скажите, если на реплике 1 поменяю поле (изменю required = false) и на второй также, то может что-то сломаться?
Что такое required? Nullable? Альтер поменяет на обеих репликах(если engine replicated)
источник

E

Edya in ClickHouse не тормозит
Dj
Мой не про оптимайз просто
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Что такое required? Nullable? Альтер поменяет на обеих репликах(если engine replicated)
Nullable - Да
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
спасибо
источник