Size: a a a

ClickHouse не тормозит

2021 January 21

n🐈

nikoinlove 🐈 in ClickHouse не тормозит
Alexandr Chigrinets
В общем, как я понял, кликхаус это не про хайлоад
хайлоад это не про производительность одного сервера)
источник

AC

Alexandr Chigrinets in ClickHouse не тормозит
Nikolay
это OLAP, а не OLTP. вам никакой OLAP не даст такого. поправте кто если знает такой OLAP
OLTP это вообще не про аналитические выборки
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olga Zh
Посоветуйте, пожалуйста, про словари. Есть база постгеса с таблицей, из которой табличку под словарь нужно делать запросом. Сейчас мы на основании запроса делаем вью тоже в постгесе, и обновляем, скажем, раз в сутки. И на этот вью настраиваем словарь по odbc, он тоже с какой-то периодичностью обновляется. Я правильно понимаю, что нет возможности пропустить этот шаг с вью? нельзя же в описании словаря использовать запрос? а если я сделаю вью в кликхаусе (к таблице по odbc)  это будет лучше? или при недоступности источника все сломается?
where можно в словаре написать
источник

OZ

Olga Zh in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
where можно в словаре написать
там же написано что запрос только для проверки что данные обновились?
источник

OZ

Olga Zh in ClickHouse не тормозит
пример бы..
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olga Zh
там же написано что запрос только для проверки что данные обновились?
?? есть where , а есть invalidate_query
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olga Zh
пример бы..
хм, сейчас найду в доке
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olga Zh
пример бы..
а какой словарь xml ? или create dictionary ?

просто пишете

<where>somecol = current_date</where>
</source>
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexandr Chigrinets
Постгрес на SSD несколько тысяч запросов в секунду спокойно держит
кстати что у вас показывает

clickhouse-benchmark --database=default <<< 'select 1'
источник

OZ

Olga Zh in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а какой словарь xml ? или create dictionary ?

просто пишете

<where>somecol = current_date</where>
</source>
xml для тех что из постгеса и create для тех что по данным кликхауса.. where - а более сложного не выйдет?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
clickhouse-benchmark --database=default -c 30  <<< 'select 1'

localhost:9000, queries 19285, QPS: 19354.260, RPS: 19354.260,
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olga Zh
xml для тех что из постгеса и create для тех что по данным кликхауса.. where - а более сложного не выйдет?
данет
источник

AC

Alexandr Chigrinets in ClickHouse не тормозит
Nikolay
это OLAP, а не OLTP. вам никакой OLAP не даст такого. поправте кто если знает такой OLAP
Druid вроде можно очень неплохо разогнать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну вот получил я RPS: 19354.260, select 1 и что?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
AMD Ryzen 7 3700X 8-Core Processor
cpu MHz  : 4315.905
источник

AC

Alexandr Chigrinets in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
кстати что у вас показывает

clickhouse-benchmark --database=default <<< 'select 1'
Завтра взгляну. Возможно, у нас проблема на уровне драйвера или сети, но просто хотелось понять, можно ли в принципе добиться у кликхауса приличного rps
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и jdbc драйвер просто тормоз, я там недавно обработку SQL регулярками лично добавлял.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и там внутри isSelect() адище. Я когда увидел, плакал. При том что я вообще только на джуна тяну.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
кстати в вертике интересно 50rps можно выжать? никто не проверял?
источник

D

Dj in ClickHouse не тормозит
час не смотрел в чат, а материала на 2 ведра попкорна )
источник