Size: a a a

ClickHouse не тормозит

2020 August 03

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Sergey Lossev
Я отлично понимаю, что партов много. Но это второй вопрос. И причина, почему их больше 100, не из-за ошибки
Так сделайте на стороне приложения разбивку вставки так, чтобы в одной вставке были данные только одной партиции. Или выставляйте в таблицу с движком TinyLog
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Дмитрий Бережнов
Кастануть в строку и извлечь два символа с конца
Или разделить на 100 и взять остаток от деления
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Orlan
Привет всем. Как извлечь последние две цифры из числа?
целого числа?
источник

O

Orlan in ClickHouse не тормозит
да
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
SELECT 123456789 % 100

┌─modulo(123456789, 100)─┐
│                     89 │
└────────────────────────┘
источник

SL

Sergey Lossev in ClickHouse не тормозит
Дмитрий Бережнов
Так сделайте на стороне приложения разбивку вставки так, чтобы в одной вставке были данные только одной партиции. Или выставляйте в таблицу с движком TinyLog
Неее, у меня таблица-приёмник MergeTree, и от неё мне никуда не деться
источник

O

Orlan in ClickHouse не тормозит
Константин Трофимов
SELECT 123456789 % 100

┌─modulo(123456789, 100)─┐
│                     89 │
└────────────────────────┘
спасибо
источник

O

Orlan in ClickHouse не тормозит
Дмитрий Бережнов
Кастануть в строку и извлечь два символа с конца
спасибо
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Sergey Lossev
Неее, у меня таблица-приёмник MergeTree, и от неё мне никуда не деться
Так а что мешает вставить в TinyLog, а потом по партициям вставить в приемник на MergeTree? Вы же понимаете что лимит max_partitions_per_insert_block = 100 нифига не просто так? Что найдя способ вставить в КХ за раз кучу партиций вы в итоге выстрелите себе в ногу? Например перезапустите КХ и он будет стартовать два часа
источник

SP

Sergey Platonov in ClickHouse не тормозит
Sergey Platonov
Code: 514. DB::Exception: Received from localhost:9000. DB::Exception: Not found a storage to insert user
помогите починить проблему, пожалуйста. Установил с нуля, все работает.
источник

S

Slach in ClickHouse не тормозит
Дмитрий Бережнов
Так а что мешает вставить в TinyLog, а потом по партициям вставить в приемник на MergeTree? Вы же понимаете что лимит max_partitions_per_insert_block = 100 нифига не просто так? Что найдя способ вставить в КХ за раз кучу партиций вы в итоге выстрелите себе в ногу? Например перезапустите КХ и он будет стартовать два часа
стартовать 2 часа он не будет, но просто сработает другой триггер когда слишком много будет партов для мержа

то есть если у вас 100 партиций и у вас вставка 100 партов (кусков) по 1 в кажду партицию, то вы получаете засирание при мерже в бакграунде, на сортировке слиянием, потому что вам надо будет как минимум 200 партов прочитать чтобы смержить туда по 1 куску...  в каждую из 100 партиций
источник

SP

Sergey Platonov in ClickHouse не тормозит
не создает пользователей
источник

D

Dj in ClickHouse не тормозит
Sergey Lossev
Неее, у меня таблица-приёмник MergeTree, и от неё мне никуда не деться
Вам один раз перегнать данные или постоянно по 100 партиция за раз вставлять? В зависимости ответа на этот вопрос весь этот холивар погасить можно....
источник

SL

Sergey Lossev in ClickHouse не тормозит
Дмитрий Бережнов
Так а что мешает вставить в TinyLog, а потом по партициям вставить в приемник на MergeTree? Вы же понимаете что лимит max_partitions_per_insert_block = 100 нифига не просто так? Что найдя способ вставить в КХ за раз кучу партиций вы в итоге выстрелите себе в ногу? Например перезапустите КХ и он будет стартовать два часа
Да, я отлично понимаю все эти последствия. Но таблица уже исторически сложилось, и мне лишь нужно закинуть в неё данные, чтобы коллеги могли начать с ней работать, а уж потом буду думать на тему, что как оптимизировать. Да, перезапуск занимает минуты, но меня это не беспокоит, т.к. на скорость основной работы это не влияет, а если и влияет, то этого пока не заметно - всё летает
Поэтому, собственно, и возник вопрос - то ли есть способ быстро обойти это ограничение, то ли нужно ещё делать обёртку на стороне, чтобы всё впихнуть по частям
источник

SL

Sergey Lossev in ClickHouse не тормозит
Да и перезапуск КХ, если и происходит, то с периодичностью от недель до месяцев
источник

MU

Max Ulan in ClickHouse не тормозит
Добрый день, вопрос по storage policies: есть параметр move_factor  - по заполнению диска на определенный процент, какие данные будут переносится на следующий диск: новые вставляемые или старые?
источник

MU

Max Ulan in ClickHouse не тормозит
В документации по конфигурированию нескольких томов этот момент не ясен: https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes_configure
источник

IB

Ilya Braslavskiy in ClickHouse не тормозит
Добрый день. Пытаюсь подружить кх и рэббит. При использовании rabbitmq_format = 'JSONAsString’, на выходе пустая строка, хотя с JSONEachRow все ок. У кого-нибудь был опыт похожий?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
всем привет!
получаю вот такую ошибку
2020.08.03 10:48:17.604931 [ 1 ] {} <Warning> Application: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:17.605250 [ 1 ] {} <Warning> Application: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:17.605503 [ 1 ] {} <Warning> Application: Listen [::]:9010 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:18.107166 [ 54 ] {} <Error> void DB::DDLWorker::runMainThread(): Code: 999, e.displayText() = Coordination::Exception: All connection tries failed while connecting to ZooKeeper. nodes: 192.168.96.2:2183, 192.168.96.4:2181, 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182


в конфиге кх прописал:
<listen_host>::</listen_host>
   <!--<listen_host>::</listen_host>-->
    <listen_host>0.0.0.0</listen_host>
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
подскажите куда копать? все это я запускаю в докерах
источник