В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4016 membersпожаловаться на группу
2020 June 17

RN

Roman Neklesa in ClickHouse не тормозит
всем привет. при попытке сделать запрос через jdbc возникает такая ошибка
Target exception: java.lang.Exception: java.sql.SQLException: ClickHouse exception, code: 1002, host: <host>, port: 8123; null Query:
c чем может быть связана? подключаюсь к удаленному серверу
источник
18:13пожаловаться#1

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
был параметр и по дефолту там было 100к, теперь какой-то сложный расчет, из размера блока и ширины (a,b,c) in
а как-то тюнить новый механизм можно? у нас в пограничном случае в IN может попасть очень много.

и можно ли обмануть его так?
pk IN ()
OR  pk IN ()
OR pk IN ()
источник
18:25пожаловаться#2

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Neklesa
всем привет. при попытке сделать запрос через jdbc возникает такая ошибка
Target exception: java.lang.Exception: java.sql.SQLException: ClickHouse exception, code: 1002, host: <host>, port: 8123; null Query:
c чем может быть связана? подключаюсь к удаленному серверу
всегда или один раз и тысячи?
источник
18:31пожаловаться#3

RN

Roman Neklesa in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
всегда или один раз и тысячи?
всегда
источник
18:33пожаловаться#4

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
а как-то тюнить новый механизм можно? у нас в пограничном случае в IN может попасть очень много.

и можно ли обмануть его так?
pk IN ()
OR  pk IN ()
OR pk IN ()
тюнить нельзя и не обмануть.
можно выставить наверное force_primary_key чтобы запрос падал, и если будут падать, то начать обрабатывать кусками выбирая in (select limit 60k)
источник
18:34пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Neklesa
всегда
а host: <host> , <host> -- это вы сами так поправили? Это вообще про официальный jdbc драйвер?
источник
18:36пожаловаться#6

RN

Roman Neklesa in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а host: <host> , <host> -- это вы сами так поправили? Это вообще про официальный jdbc драйвер?
хост - название хоста. 172.20.1.13. в таком формате. подключаюсь через офф. драйвер
источник
18:38пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Neklesa
хост - название хоста. 172.20.1.13. в таком формате. подключаюсь через офф. драйвер
урл правильный ?

jdbc:clickhouse://<host>:<port>[/<database>], e.g. jdbc:clickhouse://localhost:8123/test
источник
18:43пожаловаться#8

RN

Roman Neklesa in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
урл правильный ?

jdbc:clickhouse://<host>:<port>[/<database>], e.g. jdbc:clickhouse://localhost:8123/test
да, все так
источник
18:45пожаловаться#9

A

Andrey in ClickHouse не тормозит
Всем привет.
Вопрос по поводу использования памяти КХ.
У нас он после перезапуска, начинает потихоньку ее поджирать и не отдавать назад.
Словарей там на гиг от силы. 

┌─metric─────────────┬──────value─┐
│ MarkCacheBytes     │   28862848 │
│ jemalloc.metadata  │   23252648 │
│ jemalloc.resident  │ 2152792064 │
│ jemalloc.active    │ 1937604608 │
│ jemalloc.allocated │ 1900751232 │
│ jemalloc.mapped    │ 2288586752 │
│ jemalloc.retained  │  601812992 │
└────────────────────┴────────────┘
источник
18:46пожаловаться#10

A

Andrey in ClickHouse не тормозит
источник
18:46пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Roman Neklesa
да, все так
работает?

curl http://host:8123

curl 'http://host:8123?query=select%201'
источник
18:46пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Всем привет.
Вопрос по поводу использования памяти КХ.
У нас он после перезапуска, начинает потихоньку ее поджирать и не отдавать назад.
Словарей там на гиг от силы. 

┌─metric─────────────┬──────value─┐
│ MarkCacheBytes     │   28862848 │
│ jemalloc.metadata  │   23252648 │
│ jemalloc.resident  │ 2152792064 │
│ jemalloc.active    │ 1937604608 │
│ jemalloc.allocated │ 1900751232 │
│ jemalloc.mapped    │ 2288586752 │
│ jemalloc.retained  │  601812992 │
└────────────────────┴────────────┘
да не отдает, так и задумано. аллокатор jemalloc кеширует что бы не тратить cpu на aллокацию деаллокацию
источник
18:48пожаловаться#13

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да не отдает, так и задумано. аллокатор jemalloc кеширует что бы не тратить cpu на aллокацию деаллокацию
А по какому параметру можно узнать сколько памяти(ram) занято/свободно внутри КХ?
источник
18:49пожаловаться#14

RN

Roman Neklesa in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
работает?

curl http://host:8123

curl 'http://host:8123?query=select%201'
такая ошибка
Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name (version 20.4.4.18 (official build))
источник
18:52пожаловаться#15

AK

Anton Kosyanenko in ClickHouse не тормозит
Andrey
А по какому параметру можно узнать сколько памяти(ram) занято/свободно внутри КХ?
Может на сервере узнать место хочешь?
источник
18:53пожаловаться#16

A

Andrey in ClickHouse не тормозит
Anton Kosyanenko
Может на сервере узнать место хочешь?
нет, интересует именно RAM для диагностики OOM, не всегда понятны причины DB::Exception: Memory limit. В некоторые моменты вылетает в то время когда память есть.
источник
18:54пожаловаться#17

OB

Oleg Bukatchuk in ClickHouse не тормозит
Andrey
А по какому параметру можно узнать сколько памяти(ram) занято/свободно внутри КХ?
select * from system.disks;
источник
18:55пожаловаться#18

A

Andrey in ClickHouse не тормозит
Oleg Bukatchuk
select * from system.disks;
RAM
источник
18:55пожаловаться#19

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
А по какому параметру можно узнать сколько памяти(ram) занято/свободно внутри КХ?
никак, да и не нужно. jemalloc.active и все остальные показывают что-то, но оно оторвано от реальности,
источник
18:56пожаловаться#20