Телеграмм чат группы clickhouse_ru страница 9242

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу

2021 February 09

VK

Vitaliy Kovalev in ClickHouse не тормозит

Вопрос по Kafka Engine (version 21.2.2.8). Пытаемся ускорить импорт из кафки, но не можем добиться больше 500 сообщений в секунду. Как понять в чем проблема и куда смотреть? Пробовали различные комбинации с kafka settings, создавали параллельно 3 консьюмера (отдельными таблицами с общей группой) так же игрались с kafka_num_consumers, но ничего не помогает.
Топик на три партиции, размер сообщения ~1.5кб, сейчас методом проб и ошибок вышли на такие значения, kafka_num_consumers = 3, kafka_max_block_size = 2000000, kafka_commit_every_batch = 1, kafka_thread_per_consumer = 1
Куда копать, что еще попробовать?

источник

13:39пожаловаться #1

AC

Artur Chobanyan in ClickHouse не тормозит

Vitaliy Kovalev

Вопрос по Kafka Engine (version 21.2.2.8). Пытаемся ускорить импорт из кафки, но не можем добиться больше 500 сообщений в секунду. Как понять в чем проблема и куда смотреть? Пробовали различные комбинации с kafka settings, создавали параллельно 3 консьюмера (отдельными таблицами с общей группой) так же игрались с kafka_num_consumers, но ничего не помогает.
Топик на три партиции, размер сообщения ~1.5кб, сейчас методом проб и ошибок вышли на такие значения, kafka_num_consumers = 3, kafka_max_block_size = 2000000, kafka_commit_every_batch = 1, kafka_thread_per_consumer = 1
Куда копать, что еще попробовать?

Кол-во консюмеров увеличить

источник

13:39пожаловаться #2

D

Dj in ClickHouse не тормозит

Dmitriy Fedosov

Всем привет. Никто не сталкивался с тем, что с указанием пода (kubectl) не дает подключиться по http интерфейсу?

Запрос вида
echo 'SELECT 1' | curl 'http://clickhouse-simple-01.db-test:8123/' -d @-
Падает с ошибкой
DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name (version 20.12.4.5 (official build))

Даже будучи внутри самого пода, либо на другом поде, с которым имеется связь

Запрос вида
echo 'SELECT 1' | curl 'http://localhost:8123/' -d @-
Отрабатывает внутри пода

Пробовал менять типы авторизации, устанавливал пароль, ошибка сохраняется

в конфиге пользователя default добавьте,

                        <networks incl="networks" replace="replace">
                                <ip>::/0</ip>
                        </networks>

либо используйте другого пользователя

источник

13:40пожаловаться #3

AS

Alexey Sokolov in ClickHouse не тормозит

Заметил, что count() читает в разы больше полей, чем простой их вывод.

Делаю раз:


select field1, field2, field3
from table1
where field1 in (select field5 from table5)

1.5 секунды, читает 2.5 млн строк

Делаю два:


select count()
from table1
where field1 in (select field5 from table5)

8 секунд, читает 420 млн строк

Почему так?

источник

13:41пожаловаться #4

ИМ

Илья Максимов... in ClickHouse не тормозит

Интересный случай произошёл, опишу, ибо вдруг кто по истории чата будет искать. Была частая проблема при вставках аля

DB::Exception: Memory limit (total) exceeded: would use 56.60 GiB (attempt to allocate chunk of 67108896 bytes), maximum: 56.59 GiB

Складывалось полное впечатление, что кх (внезапно) перестало хватать памяти, хотя ничего не обновлялось и не выкатывалось. Смотрю в htop - занято всего 20Гб, по приборам в графане тоже самое. Смотрю MemoryTracking - поднимается до 50+ Гб и потом падает. В итоге поставил в два раза больше использование памяти и всё пошло как по маслу. Отчего такое аномальное поведение началось - для меня неизвестно. Версия кх 21.1.2.15

<max_server_memory_usage_to_ram_ratio>2</max_server_memory_usage_to_ram_ratio>

источник

13:41пожаловаться #5

VK

Vitaliy Kovalev in ClickHouse не тормозит

Artur Chobanyan

Кол-во консюмеров увеличить

но у нас топик на 3 партиции, и 3 кафка брокера

источник

13:41пожаловаться #6

D

Dj in ClickHouse не тормозит

Заметил, что count() читает в разы больше полей, чем простой их вывод.

Делаю раз:


select field1, field2, field3
from table1
where field1 in (select field5 from table5)

1.5 секунды, читает 2.5 млн строк

Делаю два:


select count()
from table1
where field1 in (select field5 from table5)

8 секунд, читает 420 млн строк

Почему так?

вы сравниваете запросы с помощью Format Null?

источник

13:41пожаловаться #7

AS

Alexey Sokolov in ClickHouse не тормозит

вы сравниваете запросы с помощью Format Null?

Format TabSeparatedWithNamesAndTypes

источник

13:42пожаловаться #8

DF

Dmitriy Fedosov in ClickHouse не тормозит

в конфиге пользователя default добавьте,

                        <networks incl="networks" replace="replace">
                                <ip>::/0</ip>
                        </networks>

либо используйте другого пользователя

Уже есть этот блок

источник

13:42пожаловаться #9

AC

Artur Chobanyan in ClickHouse не тормозит

Vitaliy Kovalev

но у нас топик на 3 партиции, и 3 кафка брокера

А что мешает увеличить?

источник

13:42пожаловаться #10

D

Dj in ClickHouse не тормозит

Format TabSeparatedWithNamesAndTypes

у вас скорее всего останавливается клиент...

источник

13:42пожаловаться #11

D

Dj in ClickHouse не тормозит

Dmitriy Fedosov

Уже есть этот блок

перепроверьте в preprocessed_configs/users.xml

источник

13:43пожаловаться #12

VK

Vitaliy Kovalev in ClickHouse не тормозит

Artur Chobanyan

А что мешает увеличить?

из документации "The total number of consumers should not exceed the number of partitions in the topic, since only one consumer can be assigned per partition." Или вы имеете ввиду увеличить количество партицый на брокере тоже?

источник

13:44пожаловаться #13

AS

Alexey Sokolov in ClickHouse не тормозит

у вас скорее всего останавливается клиент...

Про FORMAT Null не знал, спасибо. Сейчас попробую.

Правильно понимаю, что в таком случае фактор клиента должен исключаться?

источник

13:44пожаловаться #14

AC

Artur Chobanyan in ClickHouse не тормозит

Vitaliy Kovalev

из документации "The total number of consumers should not exceed the number of partitions in the topic, since only one consumer can be assigned per partition." Или вы имеете ввиду увеличить количество партицый на брокере тоже?

Конечно с начало на брокере нужно увеличить, толку не будет, если только на кафка энджин увеличить

источник

13:44пожаловаться #15

DF

Dmitriy Fedosov in ClickHouse не тормозит

перепроверьте в preprocessed_configs/users.xml

Там отличивается, да

источник

13:45пожаловаться #16

S

Slach in ClickHouse не тормозит

Dmitriy Fedosov

*   Trying 172.20.144.86...
* TCP_NODELAY set
* Connected to clickhouse-simple-01.crm-test (172.20.144.86) port 8123 (#0)
> POST / HTTP/1.1
> Host: clickhouse-simple-01.crm-test:8123
> User-Agent: curl/7.58.0
> Accept: */*
> Content-Length: 8
> Content-Type: application/x-www-form-urlencoded
> 
* upload completely sent off: 8 out of 8 bytes
< HTTP/1.1 500 Internal Server Error
< Date: Tue, 09 Feb 2021 10:32:14 GMT
< Connection: Keep-Alive
< Content-Type: text/plain; charset=UTF-8
< X-ClickHouse-Server-Display-Name: chi-simple-01-cluster-0-0-0.chi-simple-01-cluster-0-0.crm-test.svc.dev.cluster.local
< Transfer-Encoding: chunked
< X-ClickHouse-Exception-Code: 516
< 
Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name (version 20.12.4.5 (official build))
* Connection #0 to host clickhouse-simple-01.crm-test left intact

host_regexp смотрите в настройках default profile

источник

13:45пожаловаться #17

DF

Dmitriy Fedosov in ClickHouse не тормозит

host_regexp смотрите в настройках default profile

<host_regexp>(chi-simple-01-[^.]+\d+-\d+|clickhouse\-simple-01)\.crm-test\.svc\.cluster\.local$</host_regexp>

источник

13:45пожаловаться #18

DF

Dmitriy Fedosov in ClickHouse не тормозит

перепроверьте в preprocessed_configs/users.xml

<networks incl="networks" replace="replace">
                <ip>::1</ip>
                <host_regexp>(chi-simple-01-[^.]+\d+-\d+|clickhouse\-simple-01)\.crm-test\.svc\.cluster\.local$</host_regexp>
                <ip>127.0.0.1</ip>
            </networks>

источник

13:46пожаловаться #19

AS

Alexey Sokolov in ClickHouse не тормозит

вы сравниваете запросы с помощью Format Null?

Ругается синтаксической ошибкой, КХ 20.8.3.18. :/
Этот формат недавно завезли?

источник

13:46пожаловаться #20