Size: a a a

ClickHouse не тормозит

2020 July 23

DC

Denny Crane (I don't... in ClickHouse не тормозит
Wolf Kreuzerkrieg
а почему только 10-20 минут? чего их басурманов жалеть? :)
там не те запросы которые возвращаются за 0.01 секунду. типа, там разница 2 секунды и 10 секунд или 5 секунд и 30 секунд
а их много в среднем? этих wide партов ? и сколько полей в таблице в сотнях?
источник

SL

Sergey Lossev in ClickHouse не тормозит
Вообще, об эту тему думают или она никому не интересна? Не встречалось ли что-то подобное в планах и в гите?
источник

AK

Alexander Kapustin in ClickHouse не тормозит
Ну это по идее противоречит натуре SQL кмк
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Вообще, об эту тему думают или она никому не интересна? Не встречалось ли что-то подобное в планах и в гите?
кто-то просил это в этом чате, но тикета не создал.

это мало кому интересно потому что против SQL (SQL предполгает что поля называются как угодно и использует позиции (номера колоноко)) и табличка почти у всех одна.
Мне лично это было бы интересно, если бы я писал SQL запросы руками, но например у меня SQL запросы пишет робот, причем сразу для вертики и КХ и  ....., и такой фичи в вертике нет, в оракле нет, в mysql нет, поэтому проще без нее.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я посмотрел на свои числа sar -d и там
02:16:28 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
02:16:29 PM   dev8-16    589.00      0.00   3560.00      6.04      0.01      0.02      0.02      1.20
02:16:29 PM    dev8-0    310.00      0.00    960.00      3.10      0.01      0.04      0.04      1.20
02:16:29 PM    dev9-0    756.00      0.00   4520.00      5.98      0.00      0.00      0.00      0.00

это обычный говно ssd которому лет 6
обьединил несколько кафка табличек в одну
было 17 — стало 13
итого нагрузка на диск с зукипером уменьшилась до 50% в среднем

я не знаю чем это обьяснить, но пока так )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
обьединил несколько кафка табличек в одну
было 17 — стало 13
итого нагрузка на диск с зукипером уменьшилась до 50% в среднем

я не знаю чем это обьяснить, но пока так )
странно все это, кафка делает по дефолту инсерт каждые 7.5 сек или миллион строк, для 17 таблиц это типа 2 инсерта в секунду, вроде немного, я бы потестил железо fio (randwrite) и сравнил результаты у всех  кафка серверов, потому ваш sar показывает подозрительные svctm await , можно кстати и sar с трех кафка серверов сравнить
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
так я не о кафка серверах, а о зукипер серверах
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
я просто нашел связь с количесвтом kafka таблиц в КХ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я оговорился

я бы потестил железо fio (randwrite) и сравнил результаты у всех  ЗК серверов, потому ваш sar показывает подозрительные svctm await , можно кстати и sar с трех ЗК серверов сравнить
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
а почему только 10-20 минут? чего их басурманов жалеть? :)
там не те запросы которые возвращаются за 0.01 секунду. типа, там разница 2 секунды и 10 секунд или 5 секунд и 30 секунд
сделайте тестовые данные, очень очень интересно, ну не должно так проседать, хотелось бы знать где соломку подстелить
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Dj
сделайте тестовые данные, очень очень интересно, ну не должно так проседать, хотелось бы знать где соломку подстелить
есть некоторые данные
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
может на гитхабе открыть issue, удобнее чем в телеге мне кажется
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
может на гитхабе открыть issue, удобнее чем в телеге мне кажется
Да, ессно... Тем более если есть репродюс
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
есть схемы, есть данные замеров
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
там к стати, совсем не в 7 раз, но ближе к трем, есть только один замер
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Dj
Да, ессно... Тем более если есть репродюс
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
там к стати, совсем не в 7 раз, но ближе к трем, есть только один замер
И не компакт парты, и не в КХ )))
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
ага... квериписатели уже взяли свои слова обратно о семикратном замедлении
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
в 2.3 раза это ожидаемо?
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
в 2.3 раза это ожидаемо?
ну набросать сценарий думаю уже проще, но это зависит от соотношения wide vs compact посещаемых за запрос и много ещё чего (это все мои догадки, думаю разрабы в Гитхабе точнее скажут)
источник