Size: a a a

ClickHouse не тормозит

2020 June 05

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
Привет, как писать запросы в clickhouse вида (выбрать товар с ценой выше средней) без WITH, OVER (не поддерживаются в CH) и без копипасты subquery (это не мелкий подзапрос)?
например (с копипастой)
```SELECT name, price
FROM subquery
WHERE (price) > (SELECT avg(price) FROM subquery)
```
можно через groupArray->array join
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Dj
можно через groupArray->array join
спасибо, ушел пробовать )
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
спасибо, ушел пробовать )
здесь в чате 100500 примеров, поищите, найдете готовый
источник

D

Dj in ClickHouse не тормозит
хм, внезапно не помогло
источник

D

Dj in ClickHouse не тормозит
вот теперь помогло )
когда тз абсолютно идентичные - работает.
когда несовпадают, несмотря на совпадение UTC+3, он думает что время зимнее и дает оффсет... странно...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
вот теперь помогло )
когда тз абсолютно идентичные - работает.
когда несовпадают, несмотря на совпадение UTC+3, он думает что время зимнее и дает оффсет... странно...
Так ноябрь зимнее
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexandr Novikov
всем привет.
есть MV с движком AMT.
как для нее поменять запрос, согласно которого она формируется? так чтобы не похерить уже имеющиеся данные
Detach table mv;
attach materialized view mv as новый запрос
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Так ноябрь зимнее
точно же ))))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kitsu
Есть достаточно большое количество разношерстных таблиц с общих ключем, можно их всех как-нибудь заджойнить с минимумом по памяти (по сути нужна обычная сортировка слиянием, т.к. данные упорядочены) или лучше это программно делать вне бд?
Вне кх. Кх не умеет мердж джойн настоящий и с новыми настройками будет обрабатывать левую таблицу сотрируя кусками и сотртировать правые
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
точно же ))))
работает это так. На сервере tz x. У клиента y (в jvm). Jdbc из кх выбирает tz. Делает запрос с формате tsv и полученные данные конвертит из x в y
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
работает это так. На сервере tz x. У клиента y (в jvm). Jdbc из кх выбирает tz. Делает запрос с формате tsv и полученные данные конвертит из x в y
да все логично, я в дату даже не додумался глянуть...
источник

l

lnuynxa in ClickHouse не тормозит
Dj
точно же ))))
это максимально неочевидное поведение имхо.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anttoon
Добрый день
подскажите пожалуйста как подключиться секюрно через  clickhouse-client

clickhouse-client -s
ClickHouse client version 20.3.8.53 (official build).
Connecting to localhost:9440 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9440)


как я понимаю у меня нет кликхауса на 9440 порту
в настройках все по умолчанию, сертификат добавил.

netstat  вот что показывает
sudo netstat -tulpn | grep clickhouse
tcp        0      0 127.0.0.1:9004          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:9009          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:8123          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9004                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9009                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:8123                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9000                :::*                    LISTEN      665/clickhouse-serv
Надо в конфиге раскоментировать чтобы кх начал слушать секурные порты 9440
источник

I

Ivan in ClickHouse не тормозит
привет
почему-то размер файла с засечками увеличился в 2 раза при переходе от String или Enum к LowCardinality(String), кол-во засечек не поменялось
может кто сталкивался с кейсом?
also размер файла с ключом стал меньше
источник

AP

Andrey Privalov in ClickHouse не тормозит
Парни, привет) А подскажете, какой движок используется для сайта документации? Или может что-то свое?
источник

A

Anttoon in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Надо в конфиге раскоментировать чтобы кх начал слушать секурные порты 9440
<https_port>8443</https_port>
   <tcp_port_secure>9440</tcp_port_secure>

эти настройки раскоментированы
может еще что-то ?
источник

D

Dj in ClickHouse не тормозит
lnuynxa
это максимально неочевидное поведение имхо.
в контексте КХ это же дефолтное поведение родного клиента - по моему очевидность определяется этим )

Но да, лучше ввести флажок, чтоб клиент не додумывал, потому что клиенты других баз не додумывают...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anttoon
<https_port>8443</https_port>
   <tcp_port_secure>9440</tcp_port_secure>

эти настройки раскоментированы
может еще что-то ?
А что кх пишет при старте? Может файлы ключей и сертификаты ему не нравятся?
источник

ДН

Денис Никульников... in ClickHouse не тормозит
Всем привет, кто-то пробовал интеграцию Clickhouse и apache kafka через двихок kafka? Какой объем примерно трафика сможет поглоить cickhouse на 8 ядерной виртуалке с 8 cpu? Проблема в том, что когда в кафку на вход идет 50mbit/s консьюмер Clickhouse-a  поглощает примерно 45mbit/s и образуется все время растущий лаг... При этом процы сервера clickhouse - забиты лишь наполовину! Но что бы я ни делал (игрался с настройками rdkafka и количеством партиций) быстрее он все равно не поглощает..
источник

A

Anttoon in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
А что кх пишет при старте? Может файлы ключей и сертификаты ему не нравятся?
ничего не пишут
сертификат делал по команде которая указана в конфиге SSL  -
openssl req -subj "/CN=localhost" -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout /etc/clickhouse-server/server.key -out /etc/clickhouse-server/server.crt
источник