Size: a a a

ClickHouse не тормозит

2021 February 01

DC

Denny Crane [not a Y... in ClickHouse не тормозит
не воспроизводится в свежих кх
https://gist.github.com/den-crane/47809d29e4850b9eb6c12add0d90c221
источник

АЯ

Азат Яруллин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да тут дело явно в IN ('crmLeads')
Запрос с IN тоже прошел.
Правда clickhouse обновил до 21.1.2.15, пока ковырялся.

Было похоже на то, что одна ошибка с IN не давала выполниться и остальным запросам.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Азат Яруллин
Запрос с IN тоже прошел.
Правда clickhouse обновил до 21.1.2.15, пока ковырялся.

Было похоже на то, что одна ошибка с IN не давала выполниться и остальным запросам.
мм, смело. Я тестирую 6 месяцев перед апргейдом.
источник

YH

Yaroslav Hryshchenko in ClickHouse не тормозит
Ребята, а не подскажите, что нужно в clickhouse отправлять в бинарном виде на порт 9000, чтобы провести корректный healthcheck ?
Надоела ошибка в логах.
<Warning> TCPHandler: Client has not sent any data.
источник

YH

Yaroslav Hryshchenko in ClickHouse не тормозит
Например для FPM приводится пример проверки такого рода:
backend be_phpfpm
   # ...
   option tcp-check
   # FCGI_BEGIN_REQUEST
   tcp-check send-binary   01 # version
   tcp-check send-binary   01 # FCGI_BEGIN_REQUEST
   tcp-check send-binary 0001 # request id
   …..
источник

YH

Yaroslav Hryshchenko in ClickHouse не тормозит
Впрочем у меня нету полной уверенности, что это из-за tcp проверок.
Пардон, вопрос следует более детального изучения.
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Yaroslav Hryshchenko
Ребята, а не подскажите, что нужно в clickhouse отправлять в бинарном виде на порт 9000, чтобы провести корректный healthcheck ?
Надоела ошибка в логах.
<Warning> TCPHandler: Client has not sent any data.
Возможно поможет /replicas_status урл. Она 500 отдает в случае ошибок
источник
2021 February 02

DC

Denny Crane [not a Y... in ClickHouse не тормозит
curl  localhost:9000
Port 9000 is for clickhouse-client program.
You must use port 8123 for HTTP.

в логе

<Trace> TCPHandlerFactory: TCP Request. Address: [::1]:54946
<Debug> TCPHandler: Client has connected to wrong port.
<Debug> TCPHandler: Done processing connection.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
можно на go написать маленьку софтину, чтобы по 9000 select 1 (с пользователем и паролем) делать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
(без пароля)
curl localhost:8123/ping
Ok.
источник

SO

Sergo Ostro in ClickHouse не тормозит
всем привет
подскажите пожалуйста со следующим вопросом
загужаю 15лямов записей в кх через буферную таблицу а кх показывает что кол-во строк а меня 5лямов где могли потеряться 10лямов записей?
источник

r

rasstroen in ClickHouse не тормозит
Sergo Ostro
всем привет
подскажите пожалуйста со следующим вопросом
загужаю 15лямов записей в кх через буферную таблицу а кх показывает что кол-во строк а меня 5лямов где могли потеряться 10лямов записей?
Смержиться если строки повторяются а за буфером replacingmergetree например
источник

SO

Sergo Ostro in ClickHouse не тормозит
rasstroen
Смержиться если строки повторяются а за буфером replacingmergetree например
да у меня движок ReplacingMergeTree
данные разные  но почему то он их схлопывает((
источник

SO

Sergo Ostro in ClickHouse не тормозит
rasstroen
Смержиться если строки повторяются а за буфером replacingmergetree например
спасибо огромное, поменял движок
все начало писаться
источник

PK

Pavel Khripkov in ClickHouse не тормозит
Привет, коллеги. Создал таблицу для вычитки из Кафки:

CREATE TABLE t ( message String ) 
ENGINE = Kafka
SETTINGS
kafka_broker_list = 'xxx:9092',
kafka_topic_list = 'xxx',
kafka_group_name = 'xxx',
kafka_format = 'JSONAsString'


После первого чтения (например так: select * from t), перестаёт читать, в логах ошибка:

<Fatal> BaseDaemon: (version 20.12.5.14 (official build), no build id) (from thread 2806) (query_id: 2d2d8a45-a70e-4947-9ea8-a1df253e6ef6) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.


Вроде в более старых версиях была схожая проблема, но её устранили(?). Кто-нибудь сможет подсказать возможное решение? Заранее спасибо)
источник

I

Ilya in ClickHouse не тормозит
Pavel Khripkov
Привет, коллеги. Создал таблицу для вычитки из Кафки:

CREATE TABLE t ( message String ) 
ENGINE = Kafka
SETTINGS
kafka_broker_list = 'xxx:9092',
kafka_topic_list = 'xxx',
kafka_group_name = 'xxx',
kafka_format = 'JSONAsString'


После первого чтения (например так: select * from t), перестаёт читать, в логах ошибка:

<Fatal> BaseDaemon: (version 20.12.5.14 (official build), no build id) (from thread 2806) (query_id: 2d2d8a45-a70e-4947-9ea8-a1df253e6ef6) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.


Вроде в более старых версиях была схожая проблема, но её устранили(?). Кто-нибудь сможет подсказать возможное решение? Заранее спасибо)
а разве эта таблица предназначена для чтения напрямую? materialized view к ней обычно прикручивают
источник

PK

Pavel Khripkov in ClickHouse не тормозит
Ilya
а разве эта таблица предназначена для чтения напрямую? materialized view к ней обычно прикручивают
Прикручивал, результат тот же(
источник

I

Ilya in ClickHouse не тормозит
вы пишете, что читали из этой таблицы
источник

I

Ilya in ClickHouse не тормозит
Pavel Khripkov
Прикручивал, результат тот же(
в любом случае segfault быть не должно
источник

PK

Pavel Khripkov in ClickHouse не тормозит
Ilya
вы пишете, что читали из этой таблицы
Читал селектом, чтобы проверить, когда начинается проблема. Матвью тоже ведь читает из неё, только по тригеру.

Вообще сначала делал по инструкции из документации, но получал одну и ту же ошибку.
источник