Size: a a a

ClickHouse не тормозит

2021 March 08

DT

Dmitry Titov in ClickHouse не тормозит
> 5532 комбинации


Это ведь после того, как их отсортировал?(что бы посчитать сочетания а не перестановки)
Те потенциально, можно просто допустим захешировать (или пронумеровать) все эти комбинации и отсортировать основную таблицу по ним ORDER BY cityHash64(sorted_tag_array).  и писать запросы вида

SELECT * FROM main_table WHERE hash IN (SELECT hash FROM all_hashes WHERE tag = 'some_tag' and tag = 'some2' )


Но это более спорная штука.
источник

DT

Dmitry Titov in ClickHouse не тормозит
> от 10К сообщений в месяц

А, ну это очень немного, почему решили выбрать кх?
источник

M

Mishanya in ClickHouse не тормозит
Dmitry Titov
> 5532 комбинации


Это ведь после того, как их отсортировал?(что бы посчитать сочетания а не перестановки)
Те потенциально, можно просто допустим захешировать (или пронумеровать) все эти комбинации и отсортировать основную таблицу по ним ORDER BY cityHash64(sorted_tag_array).  и писать запросы вида

SELECT * FROM main_table WHERE hash IN (SELECT hash FROM all_hashes WHERE tag = 'some_tag' and tag = 'some2' )


Но это более спорная штука.
а словарь не подойдет ? (как идея)
источник

Б

Боброний in ClickHouse не тормозит
Dmitry Titov
> от 10К сообщений в месяц

А, ну это очень немного, почему решили выбрать кх?
Решил познакомится с ним таким образом
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Для 10к можно вообще ничего не оптимизировать, потому что результат оптимизации невозможно замерить
источник

Б

Боброний in ClickHouse не тормозит
Dmitry Titov
> 5532 комбинации


Это ведь после того, как их отсортировал?(что бы посчитать сочетания а не перестановки)
Те потенциально, можно просто допустим захешировать (или пронумеровать) все эти комбинации и отсортировать основную таблицу по ним ORDER BY cityHash64(sorted_tag_array).  и писать запросы вида

SELECT * FROM main_table WHERE hash IN (SELECT hash FROM all_hashes WHERE tag = 'some_tag' and tag = 'some2' )


Но это более спорная штука.
Да, это после сортировки
источник

Б

Боброний in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Для 10к можно вообще ничего не оптимизировать, потому что результат оптимизации невозможно замерить
Звучит здорово, но хочется ещё разобраться как это стоило бы сделать 🙂
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
а словарь не подойдет ? (как идея)
А куда там словарь предлагаете приставить?

если хранить в нем хеши. то словарь не сможет вернуть несколько записей, так что с этой точки зрения мимо.
источник

MM

Michael M in ClickHouse не тормозит
Привет.
Есть способ в консоли выводить таблицу с обрезанием по ширине или ещё как-то, чтобы не ломались столбцы, если данные не помещаются по ширине?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Michael M
Привет.
Есть способ в консоли выводить таблицу с обрезанием по ширине или ещё как-то, чтобы не ломались столбцы, если данные не помещаются по ширине?
Можно попробовать FORMAT Vertical
источник

M

Mishanya in ClickHouse не тормозит
Michael M
Привет.
Есть способ в консоли выводить таблицу с обрезанием по ширине или ещё как-то, чтобы не ломались столбцы, если данные не помещаются по ширине?
в конце можно \G поставить, буде вертикально
а, это алиас на верикал, не то
источник

MM

Michael M in ClickHouse не тормозит
вертикально смотрел - тоже не вариант
источник

DT

Dmitry Titov in ClickHouse не тормозит
Michael M
Привет.
Есть способ в консоли выводить таблицу с обрезанием по ширине или ещё как-то, чтобы не ломались столбцы, если данные не помещаются по ширине?
set output_format_pretty_max_value_width=10 ?
источник

MM

Michael M in ClickHouse не тормозит
Dmitry Titov
set output_format_pretty_max_value_width=10 ?
уже теплее.
источник

MM

Michael M in ClickHouse не тормозит
хорошо бы как-то обрезать всё, что не влезает по ширине...
источник
2021 March 09

SD

Sergey Dobrozhanskyi in ClickHouse не тормозит
доброй ночи, есть проблема, вижу в replication_queue много очередей с ошибкой
Not executing log entry for part 32-202103_459363_460555_763 because it is covered by part 32-202103_459363_460556_764 that is currently executing                   │ Code: 234, e.displayText() = DB::Exception: No active replica has part 32-202103_459363_460555_763 or covering part (version 19.7.3.9 (official build))          │
началось после того как две ноды упали, иеперь вижу постоянный гиг входящего трафика между нодами и зукипером
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Dobrozhanskyi
доброй ночи, есть проблема, вижу в replication_queue много очередей с ошибкой
Not executing log entry for part 32-202103_459363_460555_763 because it is covered by part 32-202103_459363_460556_764 that is currently executing                   │ Code: 234, e.displayText() = DB::Exception: No active replica has part 32-202103_459363_460555_763 or covering part (version 19.7.3.9 (official build))          │
началось после того как две ноды упали, иеперь вижу постоянный гиг входящего трафика между нодами и зукипером
Очередь двигается?
источник

SD

Sergey Dobrozhanskyi in ClickHouse не тормозит
Dmitry Titov
Очередь двигается?
скачет 109-144
источник

SD

Sergey Dobrozhanskyi in ClickHouse не тормозит
Dmitry Titov
Очередь двигается?
и такое с 5 числа
источник

SD

Sergey Dobrozhanskyi in ClickHouse не тормозит
круглосуточно забивает интерфейс
источник