Size: a a a

ClickHouse не тормозит

2020 September 24

DT

Dmitry Titov in ClickHouse не тормозит
Ну те, если у вас в каждом запросе будет  WHERE start >=  1321312 , а все остальные колонки в WHERE появляются время от времени. скорее всего  просто ORDER BY (start) будет бегать достаточно быстро
источник

AP

Alexey Pikin in ClickHouse не тормозит
добрый день, на ReplicatedMergeTree вываливается таймаут
OPTIMIZE TABLE mytable PARTITION 202002 FINAL DEDUPLICATE


Received exception from server (version 19.1.14):
Code: 209. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::NetException. DB::NetException: Timeout exceeded while reading from socket (replica2:9000): while receiving packet from replica2:9000, replica2.

что мне надо в настройках подкрутить, чтоб его увеличить?
источник

T

T in ClickHouse не тормозит
Dmitry Titov
Ну те, если у вас в каждом запросе будет  WHERE start >=  1321312 , а все остальные колонки в WHERE появляются время от времени. скорее всего  просто ORDER BY (start) будет бегать достаточно быстро
start и end применяются всегда, + одна из 5 колонок
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
start и end применяются всегда, + одна из 5 колонок
Одна какая то конкретная?
какая у нее кардинальность?
источник

T

T in ClickHouse не тормозит
типа start > 19.09.2020 00:00:00 and end < 24.09.2020 00:00:00 and src=1050
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
типа start > 19.09.2020 00:00:00 and end < 24.09.2020 00:00:00 and src=1050
src присутствует во всех запросах?
источник

T

T in ClickHouse не тормозит
Dmitry Titov
src присутствует во всех запросах?
нет, это одна из 5 колонок (опциональная)
источник

DT

Dmitry Titov in ClickHouse не тормозит
А, ок
сколько уникальных значений у этих 5 колонок?
источник

T

T in ClickHouse не тормозит
есть одна колонка наиболее уникальная, в сравнении с другими
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вопрос немного иначе звучал:)

Окей суть в том, что если там допустим десяток значений(сотни-тысяча макс)
имело бы смысл пихнуть эти колонки перед timestamp в ORDER BY (a,b,c,timestamp)
источник

DT

Dmitry Titov in ClickHouse не тормозит
В кх индекс дан что бы пропускать диапазоны ненужных значений и все крутится вокруг того, сделаешь ли ты такой ORDER BY который позволит это делать максимально эффективно
источник

T

T in ClickHouse не тормозит
Dmitry Titov
Вопрос немного иначе звучал:)

Окей суть в том, что если там допустим десяток значений(сотни-тысяча макс)
имело бы смысл пихнуть эти колонки перед timestamp в ORDER BY (a,b,c,timestamp)
я кстати так пробовал, вот с той колонкой которая наиболее уникальная стояла впереди. Запрос с первой колонкой работал замечательно, а вот с остальными картина не очень
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
я кстати так пробовал, вот с той колонкой которая наиболее уникальная стояла впереди. Запрос с первой колонкой работал замечательно, а вот с остальными картина не очень
Если ты хочешь пропускать, то нужно вперед вытаскивать как раз наименее уникальные колонки
источник

DT

Dmitry Titov in ClickHouse не тормозит
timestamp это обычно чуть ли не самая уникальная колонка, поэтому обычно ее пихают в самый конец ORDER BY, что бы она не мешала фильтровать по индексу
источник

T

T in ClickHouse не тормозит
T
я кстати так пробовал, вот с той колонкой которая наиболее уникальная стояла впереди. Запрос с первой колонкой работал замечательно, а вот с остальными картина не очень
ага, в курсе так поиск быстрее, просто после моих тестов с остальными колонками оставил этот вариант
источник

T

T in ClickHouse не тормозит
T
ага, в курсе так поиск быстрее, просто после моих тестов с остальными колонками оставил этот вариант
был вариант партицировать по дням
источник

D

Dj in ClickHouse не тормозит
есть таблица типа
grp,sgrp (1-3 млн на грп),others (1-3 млн на грп)
order by grp, sgrp

как прочитать топ20 sgrp внутри каждой grp не используя массивы используя индекс? )
источник

DT

Dmitry Titov in ClickHouse не тормозит
Еще один вариант сделать такой ORDER BY, но нужно тогда условие на длительность писать в WHERE
ORDER BY (roundToHour/Day(start,end),start)
источник

DT

Dmitry Titov in ClickHouse не тормозит
но фиг знает
источник

IA

Ilia Ablamonov in ClickHouse не тормозит
Добрый день!
А есть какая-то настройка лимита строк, выводимых клиентом?
Чтобы поменять вот эти вот 10к в "Showed first 10000".
источник