Size: a a a

ClickHouse не тормозит

2020 July 14

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Оригинальная табличка:
CREATE TABLE gpslog (
   client_id   UInt64,
   managers_id   Array(UInt64)
 gps_lon Float64
 gps_lan Float64
 time Uint64
) engine=MergeTree

Почему КликХаус
1. Идеологическая
2. Иногда по этой табличке необходимо будет строить аналитические запросы по типу:
select count(1) from gpslog where (pow(gps_lon - 55.135424, 2) +  pow(gps_lat - 25.077005, 2)) < pow(180*300/(6371*1000*pi()), 2)
источник

A

Andrey in ClickHouse не тормозит
нет. Это поиск количества точек находящихся в заданном радиусе от заданной точки
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
нет. Это поиск количества точек находящихся в заданном радиусе от заданной точки
ох

ок, это не тоже самое что select  count(1) from gpslog where greatCircleDistance < радиус
только greatCircleDistance быстрее в 100 раз чем эти ваши pow
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ох

ок, это не тоже самое что select  count(1) from gpslog where greatCircleDistance < радиус
только greatCircleDistance быстрее в 100 раз чем эти ваши pow
возможно, это я еще в одной старой статье подглядел и это работало сверх бытро )), буду знать. ОГРОМНОЕ спасибо за наводку.
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
чудеса, попробуйте апгрейд в 20.1.16.120 возможно где-то что-то корраптится, как имена хостов выглядят? там есть минусы, подчеркивания?
минусы есть, но имя хоста вроде обычное word-ch-env.corp.company.com
источник

A

Andrey in ClickHouse не тормозит
Обновился, посмотрю как будет вести себя
источник

Р

Роман in ClickHouse не тормозит
Коллеги помогите разобраться с вопросом. Является ли поведение any left join детерминированным или нет?
источник

A

Andrey in ClickHouse не тормозит
Auto-increment не появился случаем?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Роман
Коллеги помогите разобраться с вопросом. Является ли поведение any left join детерминированным или нет?
конечно для одинаковых входных данных всегда будет один и тот же результат.

Если  у вас distibuted таблицы и много реплик, то результат может отличаться, потому что запрос из-за load_balancing может выполнятся на разных репликах, которые еще не синхронны.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Auto-increment не появился случаем?
нет, вроде и не в планах даже
источник

Р

Роман in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
конечно для одинаковых входных данных всегда будет один и тот же результат.

Если  у вас distibuted таблицы и много реплик, то результат может отличаться, потому что запрос из-за load_balancing может выполнятся на разных репликах, которые еще не синхронны.
Спасибо! Никаких реплик нет и не будет
источник

Р

Роман in ClickHouse не тормозит
Andrey
Auto-increment не появился случаем?
Думаю что и не появится из за хранения блочного
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да можно реализовать и даже можно в кластере сделать, просто не надо никому, хеши удобнее
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нет, вроде и не в планах даже
((( как тогда скачивать из базы свежие данные, которые до этого не были скачены??? Сейчас я на стороне получателя храню id последней скаченной записи, и отправляю запрос на скачивание все что больше этого id
источник

Р

Роман in ClickHouse не тормозит
Andrey
((( как тогда скачивать из базы свежие данные, которые до этого не были скачены??? Сейчас я на стороне получателя храню id последней скаченной записи, и отправляю запрос на скачивание все что больше этого id
По дате отсекать или как вы по id
источник

A

Andrey in ClickHouse не тормозит
Роман
По дате отсекать или как вы по id
так если нет Auto-increment как этот id формировать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
((( как тогда скачивать из базы свежие данные, которые до этого не были скачены??? Сейчас я на стороне получателя храню id последней скаченной записи, и отправляю запрос на скачивание все что больше этого id
а зачем тут КХ ?
источник

A

Andrey in ClickHouse не тормозит
Посредник с накоплением данных для аналитики
источник

Р

Роман in ClickHouse не тормозит
Andrey
так если нет Auto-increment как этот id формировать
CH не обычная бд , а аналитическая тут не требуются id для связей, формируйте такие данные до заливки или используйте другую бд
источник

A

Andrey in ClickHouse не тормозит
Роман
CH не обычная бд , а аналитическая тут не требуются id для связей, формируйте такие данные до заливки или используйте другую бд
Понял, сейчас подумаем )
источник