Size: a a a

ClickHouse не тормозит

2020 June 24

DT

Dmitry Titov in ClickHouse не тормозит
Required Optional
UInt8 в 10 млрд случаях 1 и в 100-10000 случаях -1.
В таком случае ускорение стоит ждать только на запросы с UInt8=-1
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
чендлог читайте, месяцев 6 назад сделали строки
да, вы правы, в марте зарелизили фикс, спасибо. Тут пару раз проскакивали вопросы "стоит ли пользоваться версией Х". Есть ли какие-то шоу-стопперы для последней версии (20.4 как вижу)?
источник

RO

Required Optional in ClickHouse не тормозит
Dmitry Titov
ну вообще я бы добавил тогда hash и int2 в ORDER BY
кстати, когда вы не указываете отдельно PK, то PK=ORDER BY

и такой вопрос у вас какая кардинальность str1,str2,int1
ну типа спасрное декартово произведение Date x commitId(около несколько десятков) x str1(+-7млн) x str2(+-20) x UInt64 (300) добавился UInt64(=36 000) и короткий инт с двумя значениями
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Zhuravsky
да, вы правы, в марте зарелизили фикс, спасибо. Тут пару раз проскакивали вопросы "стоит ли пользоваться версией Х". Есть ли какие-то шоу-стопперы для последней версии (20.4 как вижу)?
около 75 штук, все перечислить?
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
около 75 штук, все перечислить?
🙂 я скорее про совсем-совсем критичные типа коррапшена LowCardinality(String) в SummingMergeTree
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Zhuravsky
🙂 я скорее про совсем-совсем критичные типа коррапшена LowCardinality(String) в SummingMergeTree
алтеры иногда не выполняются, мутации невыполненные помечаются как выполненные, память считается неправльно и запросы не работают, хотя память есть
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
а ну engine Dictionary не работает
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
нууу пока звучит терпимо, попробуем, спасибо 🙂
источник

DT

Dmitry Titov in ClickHouse не тормозит
Required Optional
ну типа спасрное декартово произведение Date x commitId(около несколько десятков) x str1(+-7млн) x str2(+-20) x UInt64 (300) добавился UInt64(=36 000) и короткий инт с двумя значениями
str1 str2 UInt64
вообще выглядит разнообразно, возможно можно было бы немного поиграться с порядком в ORDER BY, но тут нужно знать какие нибудь зависимости между колонками и какие будут запросы.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
UInt8 в 10 млрд случаях 1 и в 100-10000 случаях -1.
тогда minmax индекс с большой гранулярностью должен помочь
источник

Y

Yan in ClickHouse не тормозит
всем привет, кроме офф доки и митапов на канале есть материалы для изучения clickhouse?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Yan
всем привет, кроме офф доки и митапов на канале есть материалы для изучения clickhouse?
статьи и видео от altinity
источник

RO

Required Optional in ClickHouse не тормозит
Dmitry Titov
str1 str2 UInt64
вообще выглядит разнообразно, возможно можно было бы немного поиграться с порядком в ORDER BY, но тут нужно знать какие нибудь зависимости между колонками и какие будут запросы.
ну что-то типа такие:
SELECT * FROM MyBigTable WHERE (((MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a2a6cb7d970bf333a50458fc2cfdfebe' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='ff9f2f9559e3edc8cb7c74f5ac0e0348' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='9134e5aa1d6926360bd0750d2b9902db' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='7d35d1883547b07cc0beaf41842e3ac9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='5dbd4c465442b715b5ca494262e38b1b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='568be12ca289dd16117d4aaa122ebe19' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='2f158fcb307c22f3ee730af875844437' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='3798f2949f2740c9af78e61060eff47d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='f32ed77e47b0576cc5d8d73259d56c05' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='e22a42f3952a8bcaebd0343c6ce9111a' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='fa6e576957307afc5cd644fe74109d23' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='5ef57d6ce21ec958ae68a966f70b6818' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='0168ce1324a8f2569918fa4c867fa000' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='eae42a34011fa478e2efe7b7135a7b74' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='4a3935d29dd17b3cda3fac829b111623' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a925c0f83b7a4f9b322320bddf1643c7' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='9997c98c0043c3db628b2857435d7f0d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='1bf696d6c78eb0af2e1656e3556ceed5' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='23b8d4d123e8fea51d18df1eedb95198' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='5f9b9a5599663f1abe642398a6470596' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='7d35d1883547b07cc0beaf41842e3ac9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a9c08c0b734bb7af17b0734bf1e96da0' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='4c64adc0f0661528078f1e3db417e1dc' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='f6012b1d2185b1c91099b5894709f82e' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='21aa37fd60d592258e6009bb2b92da97' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='49a5824ec4f323b66eab990262487f23' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='826f7243c781e3e44032104377a10521' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='f6ebe474523ee0aaea8a04c5797f5eb4' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='ca6cf7cd13a819acfa77ed8531963cf9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='b254ed2cb32e34a7a047e175239fb418' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='64a2233c1fcf74ce30620b65c158a853' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND
источник

RO

Required Optional in ClickHouse не тормозит
Dmitry Titov
str1 str2 UInt64
вообще выглядит разнообразно, возможно можно было бы немного поиграться с порядком в ORDER BY, но тут нужно знать какие нибудь зависимости между колонками и какие будут запросы.
MyBigTable.tid='1bca78be872abe41e1d84dc3148051ae' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='0694dffe54b2058749f70bf6ab7b6c86' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='d19e48d9014743350156fbe729ded942' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='2f5ff62235c21fb98253639038c1ea8d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='5a0e4ff544bdcc4290203867371c89ac' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='890ce2abd62b1d28d3b6dee19dbdce87' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='a8c460af0b9d0f66db7a07def17ab983' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='52b1ce3ccb4549dfe18278a48a79b993' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9007954062393348096 AND MyBigTable.tid='bdf2cd95c3f895a55a4f71a514750b48' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9007954062393348096 AND MyBigTable.tid='6951ebd5539ed6a614974d1b07250778' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='1413b885580c277897dd2a8c43fa7241' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='11b7e9c2a45d5c0108bb88358934b040' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='46d4a883e8010bbcab6be788d7f2394a' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='56dbae6db60fd88af3eb39f787ffc0a4' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='6d6c265434cd7ec24da203ee5419deb5' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='0fcc4faf323b6616b97593671214a5c9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='8d8d71247ee51b6553861fa3404152fb' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='4391ee8b6eb3f9bdc6689341f6238b9b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='a477202113b37bfc9af3b4b181290867' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='bc996ca92a5d1c8be170f1d172ec80f3' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='07bc7054b49a26ab29ccdc4ec37e279b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='5d83058e10c15ea194c01497c972d733' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='6ab568609f003258eea9b288c07e00ac' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='6487118f748ecad488d8b4a81934f7a8' AND MyBigTable.gt='first_value')) AND (factor=1 AND Date='2020-06-04' AND commit IN (6683359921796490297)))
источник

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
тогда minmax индекс с большой гранулярностью должен помочь
спасибо за наводку - попробую
источник

Y

Yan in ClickHouse не тормозит
Dmitry Titov
статьи и видео от altinity
👍видел этот сайт, думал реклама своих услуг
источник

RO

Required Optional in ClickHouse не тормозит
Yan
👍видел этот сайт, думал реклама своих услуг
там много толковых материалов
источник

DT

Dmitry Titov in ClickHouse не тормозит
Required Optional
MyBigTable.tid='1bca78be872abe41e1d84dc3148051ae' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='0694dffe54b2058749f70bf6ab7b6c86' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='d19e48d9014743350156fbe729ded942' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='2f5ff62235c21fb98253639038c1ea8d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='5a0e4ff544bdcc4290203867371c89ac' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='890ce2abd62b1d28d3b6dee19dbdce87' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='a8c460af0b9d0f66db7a07def17ab983' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='52b1ce3ccb4549dfe18278a48a79b993' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9007954062393348096 AND MyBigTable.tid='bdf2cd95c3f895a55a4f71a514750b48' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9007954062393348096 AND MyBigTable.tid='6951ebd5539ed6a614974d1b07250778' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='1413b885580c277897dd2a8c43fa7241' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='11b7e9c2a45d5c0108bb88358934b040' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='46d4a883e8010bbcab6be788d7f2394a' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='56dbae6db60fd88af3eb39f787ffc0a4' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='6d6c265434cd7ec24da203ee5419deb5' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='0fcc4faf323b6616b97593671214a5c9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='8d8d71247ee51b6553861fa3404152fb' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='4391ee8b6eb3f9bdc6689341f6238b9b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='a477202113b37bfc9af3b4b181290867' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='bc996ca92a5d1c8be170f1d172ec80f3' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='07bc7054b49a26ab29ccdc4ec37e279b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='5d83058e10c15ea194c01497c972d733' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='6ab568609f003258eea9b288c07e00ac' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='6487118f748ecad488d8b4a81934f7a8' AND MyBigTable.gt='first_value')) AND (factor=1 AND Date='2020-06-04' AND commit IN (6683359921796490297)))
не уверен. что это ускорит, но возможно можно заменить это на
но есть подозрения что ускорит, хотя у вас все по индексу сканируется здесь.

(MyBigTable.hashId,MyBigTable.tid,MyBigTable.gt) IN ()
источник

RO

Required Optional in ClickHouse не тормозит
Dmitry Titov
не уверен. что это ускорит, но возможно можно заменить это на
но есть подозрения что ускорит, хотя у вас все по индексу сканируется здесь.

(MyBigTable.hashId,MyBigTable.tid,MyBigTable.gt) IN ()
я вот не уверен... where чаще работает быстрее чем IN
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
ну что-то типа такие:
SELECT * FROM MyBigTable WHERE (((MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a2a6cb7d970bf333a50458fc2cfdfebe' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='ff9f2f9559e3edc8cb7c74f5ac0e0348' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='9134e5aa1d6926360bd0750d2b9902db' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='7d35d1883547b07cc0beaf41842e3ac9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='5dbd4c465442b715b5ca494262e38b1b' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='568be12ca289dd16117d4aaa122ebe19' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='2f158fcb307c22f3ee730af875844437' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='3798f2949f2740c9af78e61060eff47d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='f32ed77e47b0576cc5d8d73259d56c05' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='e22a42f3952a8bcaebd0343c6ce9111a' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='fa6e576957307afc5cd644fe74109d23' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='5ef57d6ce21ec958ae68a966f70b6818' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=3014026628437470720 AND MyBigTable.tid='0168ce1324a8f2569918fa4c867fa000' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=7593912842733312000 AND MyBigTable.tid='eae42a34011fa478e2efe7b7135a7b74' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='4a3935d29dd17b3cda3fac829b111623' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a925c0f83b7a4f9b322320bddf1643c7' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='9997c98c0043c3db628b2857435d7f0d' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='1bf696d6c78eb0af2e1656e3556ceed5' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='23b8d4d123e8fea51d18df1eedb95198' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='5f9b9a5599663f1abe642398a6470596' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='7d35d1883547b07cc0beaf41842e3ac9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a9c08c0b734bb7af17b0734bf1e96da0' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='4c64adc0f0661528078f1e3db417e1dc' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='f6012b1d2185b1c91099b5894709f82e' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='21aa37fd60d592258e6009bb2b92da97' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='49a5824ec4f323b66eab990262487f23' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=6077416308784901120 AND MyBigTable.tid='826f7243c781e3e44032104377a10521' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1888447704932387840 AND MyBigTable.tid='f6ebe474523ee0aaea8a04c5797f5eb4' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='ca6cf7cd13a819acfa77ed8531963cf9' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=2477267606292216320 AND MyBigTable.tid='b254ed2cb32e34a7a047e175239fb418' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND MyBigTable.tid='64a2233c1fcf74ce30620b65c158a853' AND MyBigTable.gt='first_value') OR (MyBigTable.hashId=1219566887550247168 AND
а order by какой у таблицы?
источник