Size: a a a

ClickHouse не тормозит

2020 August 03

D

Dj in ClickHouse не тормозит
Sergey Lossev
Да, я отлично понимаю все эти последствия. Но таблица уже исторически сложилось, и мне лишь нужно закинуть в неё данные, чтобы коллеги могли начать с ней работать, а уж потом буду думать на тему, что как оптимизировать. Да, перезапуск занимает минуты, но меня это не беспокоит, т.к. на скорость основной работы это не влияет, а если и влияет, то этого пока не заметно - всё летает
Поэтому, собственно, и возник вопрос - то ли есть способ быстро обойти это ограничение, то ли нужно ещё делать обёртку на стороне, чтобы всё впихнуть по частям
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
в конфиг файле указал <listen_host>::</listen_host>
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
io
После обновления 19.16.13.54 —> 20.5.3.2 стала падать команда

OPTIMIZE TABLE AAA.bbb FINAL DEDUPLICATE

ошибка

Code: 365, e.displayText() = DB::Exception: Output of TreeExecutor is not sorted (version 20.5.3.27 (official build))

С чем может быть связанно? По отдельности FINAL и DEDUPLICATE - работают, вместе - нет. Раньше работало.
Какой движок у таблицы?
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
добрый день! изучаем вариант шардинга CH на несколько серверов (со старта – 5-10), пытаемся понять, в какую сторону смотреть правильнее. Основная задача - уметь постепенно растить кластер, добавляя новые сервера по мере заполнения старых. Правда ли, что в данном случае имеет смысл сразу делать "свою" схему шардирования и писать данные напрямую в шарды, а Distributed таблицы оставить только для запросов на чтение?

P.S. джоинов пока что нет и не предвидется, максимум - мелкие, редко изменяющиеся словари, которые не жалко раскопировать на все шарды.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Platonov
Received exception from server (version 20.5.4):
Code: 514. DB::Exception: Received from . DB::Exception: Not found a storage to insert user
Вы config.xml на свой подменяете? Там в конфиге определен каталог где хранить xml-и с юзерами access path что-то.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita Vladivostok
Привет, есть ли в ClickHouse возможность сделать сводную таблицу в рамках запроса? Если есть подскажите оператор
groupArray
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Вы config.xml на свой подменяете? Там в конфиге определен каталог где хранить xml-и с юзерами access path что-то.
редактиру существующий
источник

SP

Sergey Platonov in ClickHouse не тормозит
пути точно не менял, но, делал копию файла default-password.xml в users.d после чего сервер перестал пускать, шла мерджа. Файл грохнул, ошибка пропала и вновь стало можно подключиться, но после этого пропали все созданные пользователи кроме дефолтного и создать их заново не получается
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Platonov
пути точно не менял, но, делал копию файла default-password.xml в users.d после чего сервер перестал пускать, шла мерджа. Файл грохнул, ошибка пропала и вновь стало можно подключиться, но после этого пропали все созданные пользователи кроме дефолтного и создать их заново не получается
ну видимо вы что-то сделали с путем к стораджу юзеров в config.xml
источник

SP

Sergey Platonov in ClickHouse не тормозит
хм, сейчас перепроверю, но кажется он рядышком с конфигом лежит в виде ссылки
источник

SL

Sergey Lossev in ClickHouse не тормозит
м-да... Вот только так и получилось

Странно, что оно не работало, какие бы я параметры не передавал в секции SETTINGS вместе с запросом

Может, в последнем релизе появился баг на эту тему?..
источник

D

Dj in ClickHouse не тормозит
Sergey Lossev
м-да... Вот только так и получилось

Странно, что оно не работало, какие бы я параметры не передавал в секции SETTINGS вместе с запросом

Может, в последнем релизе появился баг на эту тему?..
нет, не все параметры работают через SETTINGS
источник

AP

Anton Patsev in ClickHouse не тормозит
Подскажите пожалуйста, делаю по ошибке вставке в clickhouse
https://gist.github.com/patsevanton/18dd67515593fd948dc22e1125fdee6c
Missing columns: 'HIT' while processing query:  - такой колонки нет, да и он не вставляет в колонку HIT, а вставляет в колонку upstream_cache_status со значением HIT


делаю по этой инструкции - https://github.com/patsevanton/articles-to-habr/blob/master/Отправка-Nginx-логов-с-помощью-Vector-в-Clickhouse.md  - там есть схема бд
источник

SL

Sergey Lossev in ClickHouse не тормозит
Dj
нет, не все параметры работают через SETTINGS
Просто мне удобно через Tabix работать, а там, как известно, сессии нет. Вот и не получается её задать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Patsev
Подскажите пожалуйста, делаю по ошибке вставке в clickhouse
https://gist.github.com/patsevanton/18dd67515593fd948dc22e1125fdee6c
Missing columns: 'HIT' while processing query:  - такой колонки нет, да и он не вставляет в колонку HIT, а вставляет в колонку upstream_cache_status со значением HIT


делаю по этой инструкции - https://github.com/patsevanton/articles-to-habr/blob/master/Отправка-Nginx-логов-с-помощью-Vector-в-Clickhouse.md  - там есть схема бд
Так явно ведь кавычек нет upstream_cache_status = HIT
источник

D

Dj in ClickHouse не тормозит
Sergey Lossev
Просто мне удобно через Tabix работать, а там, как известно, сессии нет. Вот и не получается её задать
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Алексей Артамонов
всем привет!
получаю вот такую ошибку
2020.08.03 10:48:17.604931 [ 1 ] {} <Warning> Application: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:17.605250 [ 1 ] {} <Warning> Application: Listen [::]:9000 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:17.605503 [ 1 ] {} <Warning> Application: Listen [::]:9010 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = DNS error: EAI: Address family for hostname not supported (version 20.5.2.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>
2020.08.03 10:48:18.107166 [ 54 ] {} <Error> void DB::DDLWorker::runMainThread(): Code: 999, e.displayText() = Coordination::Exception: All connection tries failed while connecting to ZooKeeper. nodes: 192.168.96.2:2183, 192.168.96.4:2181, 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.2:2183
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.5.2.7 (official build)), 192.168.96.4:2181
Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused (version 20.5.2.7 (official build)), 192.168.96.3:2182


в конфиге кх прописал:
<listen_host>::</listen_host>
   <!--<listen_host>::</listen_host>-->
    <listen_host>0.0.0.0</listen_host>
@den_crane не подскажешь куда копать, я на ВМ запускаю в докере 2 КХ и 3 ЗК
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane не подскажешь куда копать, я на ВМ запускаю в докере 2 КХ и 3 ЗК
Зачем вы указываете два listen_host? Ipv6 покарывает ipv4
источник

AE

Aleksandr Evsigneev in ClickHouse не тормозит
Подскажите плиз, в чём может быть проблема?
Есть 2 таблицы, между ними связь по id

Вторая таблица распартиционированна по этому id, пк - id. Данных в ней 700кк+. Селекты c where id in/= по этой таблице работают быстро.

Но когда делаю джойн на вторую таблицу, то такое чувство, что кх пытается её полностью сначала в память засунуть.

Запрос вида
select id, name from table_one any left join table_two on table_one.id = table_two.id;

Кх что ли на такой запрос не вешает никаких констрейнтов на правую таблицу для выборки данных для джойна?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Зачем вы указываете два listen_host? Ipv6 покарывает ipv4
пробовал и с одним, ошибка аналагична , заметил что для докера есть файл docker_related_config.xml
источник