Size: a a a

ClickHouse не тормозит

2021 January 20

AZ

Alex Zelensky in ClickHouse не тормозит
Блин, ребята, запустилось всё, 4 часа правда данные потеряли( но хотя бы запустилось
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Дима, Саша, спасибо вам от души
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alex Zelensky
Блин, ребята, запустилось всё, 4 часа правда данные потеряли( но хотя бы запустилось
Ну, могло быть и неприятнее.

Репликация, тесты на стейдже перед выкатом и вставка через Kafka вас ждет :)
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Уже все, по-любому. Знаете же как оно, вот вот сделаем, еще пару фич и будем инфраструктуру строить. И не успели
источник

AP

Alexander Petrov in ClickHouse не тормозит
Тесты на стейдже это да. Мне 1 раза хватило чтобы их запилить 😀
источник

KB

Kirill Bespalov in ClickHouse не тормозит
Привет.

Вопрос - есть поток событий:

(user_id, time, event)

нужно пользователю в UI быстро показывать события user_id=x и нам для аналитики уметь  по time фильтровать.

Лучше, чем две отдельных таблицы с разными PK ведь не получится сделать для этого?

(user_id, time)
(time, user_id)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Kirill Bespalov
Привет.

Вопрос - есть поток событий:

(user_id, time, event)

нужно пользователю в UI быстро показывать события user_id=x и нам для аналитики уметь  по time фильтровать.

Лучше, чем две отдельных таблицы с разными PK ведь не получится сделать для этого?

(user_id, time)
(time, user_id)
Ну а сколько юников user_id, какие у вас обычно используются интервалы для фильтра по time
источник

KB

Kirill Bespalov in ClickHouse не тормозит
сотни тысяч, могут быть и миллионы
источник

KB

Kirill Bespalov in ClickHouse не тормозит
если бы uniq(user_id) исчислялся десятками можно было бы оставить как есть time, user_id ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Смотря сколько вообще записей в день

А так если десятки то

(user_id, time)
источник

KB

Kirill Bespalov in ClickHouse не тормозит
понял о чем ты, спасибо
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Dmitry Titov
Смотря сколько вообще записей в день

А так если десятки то

(user_id, time)
МНе вот кажется наоброт надо  - time, user_id.   дата  же всегда нужна. Быстро показать события юзеру - ему ж наверняка надо или последние, или за период. За прошлый год ведь явно не надо?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вячеслав Владимиров
МНе вот кажется наоброт надо  - time, user_id.   дата  же всегда нужна. Быстро показать события юзеру - ему ж наверняка надо или последние, или за период. За прошлый год ведь явно не надо?
Обычно есть партиционирование по месяцу, те уже больше месяца не будет выбрано.
Плюс селективность по user_id  будет лучше чем по datetime.
источник

KB

Kirill Bespalov in ClickHouse не тормозит
+
источник

KB

Kirill Bespalov in ClickHouse не тормозит
для аналитики все равно пользуемся разрешением месяц и больше
источник

KB

Kirill Bespalov in ClickHouse не тормозит
нам главное чтобы за 5 лет не читал
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Dmitry Titov
Обычно есть партиционирование по месяцу, те уже больше месяца не будет выбрано.
Плюс селективность по user_id  будет лучше чем по datetime.
т.е. при наличии партиц по вреени КХ и без индекса справится?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вячеслав Владимиров
т.е. при наличии партиц по вреени КХ и без индекса справится?
Ну партишн прунниг должен отбросить партиции которые за пределом временного интервала, да
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
интересный вариант.  Допилили бы уже explain - сколько бы вопросов отпало сразу )))))
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вячеслав Владимиров
интересный вариант.  Допилили бы уже explain - сколько бы вопросов отпало сразу )))))
Так есть же, даже в 20.8
источник