Size: a a a

ClickHouse не тормозит

2020 June 08

I

Ivan in ClickHouse не тормозит
нет, но одна из таблиц - подмножество второй по набору данных
я же сравниваю по партициям, а не всю колонку
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ivan
нет, но одна из таблиц - подмножество второй по набору данных
я же сравниваю по партициям, а не всю колонку
ок, а кол-во партов в конкретной партиции?
источник

AK

Andrew Kochen in ClickHouse не тормозит
помню, тут обсуждалось, что мутация вида alter table t delete where field in (select ...) - не работает. (нельзя select писать). И у меня действительно не работало

А сегодня обнаружил, что такая мутация на другой таблице проходит...
 alter table logs delete where id in ( select id from logs final
where active_size = 0)
Че-то не понимаю...
КХ версии 19
источник

I

Ivan in ClickHouse не тормозит
Dmitry Titov
ок, а кол-во партов в конкретной партиции?
да
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ivan
да
и само кол-во засечек одинаковое (marks)?
источник

I

Ivan in ClickHouse не тормозит
ага
источник

I

Ivan in ClickHouse не тормозит
кстати, еще интересная штука
есть колонка Array(String), которую я решил перевести тоже на словари
там column_marks_bytes увеличилось не в 2, а в 1,5 раза)
источник

TM

Tim Mustafin in ClickHouse не тормозит
Добрый день!

У меня есть таблица вида K -> V, по которой получается очень эффективно забирать по условию where select V where K = x. Но иногда возникает необходимость сделать операцию select K where V = x. Я попробовал min/max и bloom_filter индексы, но они не пропускают никакие парты вообще, судя по логам.

Я настраиваю что-то не так или это ожидаемое поведение и единственное решение — постороить MV/таблицу с обратным ключом?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Tim Mustafin
Добрый день!

У меня есть таблица вида K -> V, по которой получается очень эффективно забирать по условию where select V where K = x. Но иногда возникает необходимость сделать операцию select K where V = x. Я попробовал min/max и bloom_filter индексы, но они не пропускают никакие парты вообще, судя по логам.

Я настраиваю что-то не так или это ожидаемое поведение и единственное решение — постороить MV/таблицу с обратным ключом?
min/max и bloom_filter индексы
сильно чувствительны к локальности V, если ее не будет, то они бесполезны и только замедляют

У меня есть похожий случай и я там просто сделал две таблицы с разным  ORDER BY
источник

TM

Tim Mustafin in ClickHouse не тормозит
Dmitry Titov
min/max и bloom_filter индексы
сильно чувствительны к локальности V, если ее не будет, то они бесполезны и только замедляют

У меня есть похожий случай и я там просто сделал две таблицы с разным  ORDER BY
По крону копируете?
источник

DT

Dmitry Titov in ClickHouse не тормозит
нет, MV AS SELECT * FROM table_k TO table_v
источник

TM

Tim Mustafin in ClickHouse не тормозит
Понял, спасибо
источник

TM

Tim Mustafin in ClickHouse не тормозит
А ngrambf_v1 на полнотекстовом поиске тоже от чего-то зависит или стоит пробовать?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Tim Mustafin
А ngrambf_v1 на полнотекстовом поиске тоже от чего-то зависит или стоит пробовать?
так то есть еще set(0)
ngrambf_v1 если ты щас говоришь о том же запросе, то полнотекстовый поиск дороговато выходит, имхо
источник

TM

Tim Mustafin in ClickHouse не тормозит
Dmitry Titov
нет, MV AS SELECT * FROM table_k TO table_v
У вас изначальная таблица небольшая была, видимо? Или некритично было уже существующие данные потерять?
источник

TM

Tim Mustafin in ClickHouse не тормозит
Dmitry Titov
так то есть еще set(0)
ngrambf_v1 если ты щас говоришь о том же запросе, то полнотекстовый поиск дороговато выходит, имхо
нет, не такой же :)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Tim Mustafin
нет, не такой же :)
Это было сделано так изначально.
щас таблица примерно 500млрд записей
источник

DT

Dmitry Titov in ClickHouse не тормозит
а так, никто не мешает перелить старые данные в том, числе
источник

TM

Tim Mustafin in ClickHouse не тормозит
Dmitry Titov
а так, никто не мешает перелить старые данные в том, числе
clickhouse-copier с source=target?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Tim Mustafin
clickhouse-copier с source=target?
я clickhouse-copier не пользовался, не скажу насколько это оптимально будет
источник