Size: a a a

ClickHouse не тормозит

2020 June 25

p

pv in ClickHouse не тормозит
Alexey Kostarev
Ну проще мне увидеть это на графиках
Но трижды почитав текст кажется  начинаю въезжать 😊
Я согласен. Графики действительно были бы тоже не лишними )
источник

Y

Yan in ClickHouse не тормозит
Может кто сталкивался?
Не получается подключиться к CH с помощью DataGrip по локальной сети.
Порт 8123 на сервере открыт.
Если использую SSH туннель и localhost, соединение есть, но выборки очень медленно работают.
Без SSH, и с локальным IP, пишет connection refused
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
Может кто сталкивался?
Не получается подключиться к CH с помощью DataGrip по локальной сети.
Порт 8123 на сервере открыт.
Если использую SSH туннель и localhost, соединение есть, но выборки очень медленно работают.
Без SSH, и с локальным IP, пишет connection refused
проверяется курлом curl ipch:8123 или прямо в браузере, ip:8123 , должен показть ok
источник

DT

Dmitry Titov in ClickHouse не тормозит
Yan
Может кто сталкивался?
Не получается подключиться к CH с помощью DataGrip по локальной сети.
Порт 8123 на сервере открыт.
Если использую SSH туннель и localhost, соединение есть, но выборки очень медленно работают.
Без SSH, и с локальным IP, пишет connection refused
в users.xml точно стоит разрешение на доступ не из локалхоста?
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
проверяется курлом curl ipch:8123 или прямо в браузере, ip:8123 , должен показть ok
показывает Connection refused
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
показывает Connection refused
значит либо файервол, либо КХ слушает локалхост, в config.xml listen раскоментирован?
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
значит либо файервол, либо КХ слушает локалхост, в config.xml listen раскоментирован?
имеется ввиду listen_host?
если да, то закоментен
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
имеется ввиду listen_host?
если да, то закоментен
ну значит КХ слушает localhost

надо раскоментировать

   <!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept connections both with IPv4 and IPv6 from everywhere. -->
   <!-- <listen_host>::</listen_host> -->
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и рестартовать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
должно получится типа

netstat -nlpt|grep 8123
tcp6       0      0 :::8123                 :::*                    LISTEN      213483/clickhouse-s
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну значит КХ слушает localhost

надо раскоментировать

   <!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept connections both with IPv4 and IPv6 from everywhere. -->
   <!-- <listen_host>::</listen_host> -->
👍все заработало! Спасибо большое!
однако выборки все так же медленно работают
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
👍все заработало! Спасибо большое!
однако выборки все так же медленно работают
а типа локально из clickhouse-client быстро ? может летенси большая? или датагрип тормозит
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а типа локально из clickhouse-client быстро ? может летенси большая? или датагрип тормозит
использую базу tutorial
и select из страницы

локально
10 rows in set. Elapsed: 0.070 sec. Processed 1.48 million rows, 115.90 MB (21.12 million rows/s., 1.66 GB/s.)
через DataGrip
150 ms
источник

DP

Dorian Peregrim in ClickHouse не тормозит
Добрый день. Имею репликацию на двух машинах. На каждой есть таблицы с ENGINE kafka, которые читают из одного и того же топика Кафки (т.е. условно, если есть топик с кликами, то на каждой реплике есть таблица, читающая этот топик). Пишу в Кафку какие то сообщения (одинаковые) и время от времени получаю в лог одной из машин такое сообщение, на второй ничего не пишется в этот момент, в то время как если запись проходит, то пищется в оба лога:

2020.06.25 17:54:57.871377 [ 5409 ] {} <Debug> db.table (Replicated OutputStream): Wrote block with ID '202006_15114492565133963966_13996427919511571955', 1 rows
2020.06.25 17:54:57.875293 [ 5409 ] {} <Information>
db.table (Replicated OutputStream): Block with ID 202006_15114492565133963966_13996427919511571955 already exists; ignoring it.

В результате теряются сообщения, проходя через materialized view и попадая в целевую таблицу. Причем если удалить MV и просто читать из таблицы с ENGINE kafka, то количество сообщений то же, что и было отправлено.
Почему CH игнорит сообщения Кафки? Правильно ли создавать на обоих репликах таблицы, читающие из одного и того же топика Кафки?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
использую базу tutorial
и select из страницы

локально
10 rows in set. Elapsed: 0.070 sec. Processed 1.48 million rows, 115.90 MB (21.12 million rows/s., 1.66 GB/s.)
через DataGrip
150 ms
хаха, т.е. типа это медленно?
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
хаха, т.е. типа это медленно?
меня устраивает :) Но на всякий случай решил уточнить
источник

D

Dj in ClickHouse не тормозит
Наобещали "blazing fast" на сайте 😂
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dorian Peregrim
Добрый день. Имею репликацию на двух машинах. На каждой есть таблицы с ENGINE kafka, которые читают из одного и того же топика Кафки (т.е. условно, если есть топик с кликами, то на каждой реплике есть таблица, читающая этот топик). Пишу в Кафку какие то сообщения (одинаковые) и время от времени получаю в лог одной из машин такое сообщение, на второй ничего не пишется в этот момент, в то время как если запись проходит, то пищется в оба лога:

2020.06.25 17:54:57.871377 [ 5409 ] {} <Debug> db.table (Replicated OutputStream): Wrote block with ID '202006_15114492565133963966_13996427919511571955', 1 rows
2020.06.25 17:54:57.875293 [ 5409 ] {} <Information>
db.table (Replicated OutputStream): Block with ID 202006_15114492565133963966_13996427919511571955 already exists; ignoring it.

В результате теряются сообщения, проходя через materialized view и попадая в целевую таблицу. Причем если удалить MV и просто читать из таблицы с ENGINE kafka, то количество сообщений то же, что и было отправлено.
Почему CH игнорит сообщения Кафки? Правильно ли создавать на обоих репликах таблицы, читающие из одного и того же топика Кафки?
одинаковые сообщения? так это дедупликация, кафка engine тут вообще ни при чем
вы пишите виртуальный столбик из кафка engine _timestamp или _offset чтобы строки разные получались
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
70мс, это медленно? вы там на спидах что-ли все? у меня запросы по 40 мин. работают, вот это медленно.
источник

DP

Dorian Peregrim in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
одинаковые сообщения? так это дедупликация, кафка engine тут вообще ни при чем
вы пишите виртуальный столбик из кафка engine _timestamp или _offset чтобы строки разные получались
Ну я думал в эту сторону, но почему то у меня сначала зародилось сомнение, можно ли на репликах читать с одного топика. Попробую добавить текущий timestamp (его нет, да), спасибо
источник