Size: a a a

ClickHouse не тормозит

2020 August 06

S

Slach in ClickHouse не тормозит
Илья Ибрагимов
Господа, доброго времени суток!
Подскажите, пожалуйста, в чем может быть проблема:

SELECT count(*)
FROM dis_locatable_entity_states

↓ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.) Received exception from server (version 20.3.7):
Code: 999. DB::Exception: Received from localhost:9000. DB::Exception: Received from chi-clickhouse-db-org-sim-default-1-1:9000. DB::Exception: Session expired (Session expired).
SHOW CREATE TABLE dis_locatable_entity_states что говорит?
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
SHOW CREATE TABLE dis_locatable_entity_states

SHOW CREATE TABLE dis_locatable_entity_states

┌─statement──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE db.dis_locatable_entity_states (`timestamp` DateTime, `location_online_status` LowCardinality(String), `cur_patient_state` LowCardinality(String), `cur_patient_timestamp` DateTime, `prev_patient_state` LowCardinality(String), `prev_patient_timestamp` DateTime, `loc_room_id` UUID, `loc_ward_id` UUID, `loc_floor_id` UUID, `loc_building_id` UUID, `loc_campus_id` UUID, `loc_campus_org_code` LowCardinality(String), `loc_timestamp` DateTime, `site_id` UUID, `site_type` LowCardinality(String), `site_name` String, `entity_id` UUID, `entity_org_code` LowCardinality(String), `entity_type` LowCardinality(String), `entity_sub_type` LowCardinality(String), `entity_name` String, `cur_clean_state` LowCardinality(String), `cur_clean_timestamp` DateTime, `prev_clean_state` LowCardinality(String), `prev_clean_timestamp` DateTime, `cur_broken_state` LowCardinality(String), `cur_broken_timestamp` DateTime, `prev_broken_state` LowCardinality(String), `prev_broken_timestamp` DateTime, `cur_in_use_state` LowCardinality(String), `cur_in_use_timestamp` DateTime, `prev_in_use_state` LowCardinality(String), `prev_in_use_timestamp` DateTime, `user` String, `group` String, `prev_user` String, `prev_group` String, `event_type` LowCardinality(String), `deleted_at` Nullable(DateTime)) ENGINE = Distributed(default, db, locatable_entity_states, rand())
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
Slach
SHOW CREATE TABLE dis_locatable_entity_states что говорит?
пишет ошибку при вставк:

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10541260 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8f3f72d in /usr/bin/clickhouse
2. ? @ 0xd7af148 in /usr/bin/clickhouse
3. DB::StorageReplicatedMergeTree::write(std::__1::shared_ptr<DB::IAST> const&, DB::Context const&) @ 0xd758bb9 in /usr/bin/clickhouse
4. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xd0d5fdb in /usr/bin/clickhouse
5. DB::InterpreterInsertQuery::execute() @ 0xd0cd651 in /usr/bin/clickhouse
6. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xd0d5ba9 in /usr/bin/clickhouse
7. DB::InterpreterInsertQuery::execute() @ 0xd0cd651 in /usr/bin/clickhouse
8. DB::DistributedBlockOutputStream::writeToLocal(DB::Block const&, unsigned long) @ 0xd8a64d1 in /usr/bin/clickhouse
9. DB::DistributedBlockOutputStream::writeAsyncImpl(DB::Block const&, unsigned long) @ 0xd8a80f6 in /usr/bin/clickhouse
10. DB::DistributedBlockOutputStream::writeSplitAsync(DB::Block const&) @ 0xd8a85a0 in /usr/bin/clickhouse
11. DB::DistributedBlockOutputStream::write(DB::Block const&) @ 0xd8a8b2d in /usr/bin/clickhouse
12. DB::PushingToViewsBlockOutputStream::write(DB::Block const&) @ 0xd0d4b1e in /usr/bin/clickhouse
13. DB::SquashingBlockOutputStream::writeSuffix() @ 0xd0e286a in /usr/bin/clickhouse
14. DB::TCPHandler::processInsertQuery(DB::Settings const&) @ 0x90217b2 in /usr/bin/clickhouse
15. DB::TCPHandler::runImpl() @ 0x9022ecf in /usr/bin/clickhouse
16. DB::TCPHandler::run() @ 0x90234c0 in /usr/bin/clickhouse
17. Poco::Net::TCPServerConnection::start() @ 0xe3b885b in /usr/bin/clickhouse
18. Poco::Net::TCPServerDispatcher::run() @ 0xe3b8cdd in /usr/bin/clickhouse
19. Poco::PooledThread::run() @ 0x105cf3c7 in /usr/bin/clickhouse
20. Poco::ThreadImpl::runnableEntry(void*) @ 0x105cb1cc in /usr/bin/clickhouse
21. ? @ 0x105ccb6d in /usr/bin/clickhouse
22. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
23. __clone @ 0x12188f in /lib/x86_64-linux-gnu/libc-2.27.so
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
а кто нибудь знает как легко транспонировать выхлоп?
запрос выбирает две строки и много много столбцов, хочу подифать глазами столбцы в конкретных двух строках которые выбираю
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
что нибудь типа format Vertical, но чтоб видеть рядом
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
мож какой нибудь однострочник на питоне/баше/перле можно натравить на CSV/TSV/любой-формат-выхлопа-кликхауса
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Константин Трофимов
а кто нибудь знает как легко транспонировать выхлоп?
запрос выбирает две строки и много много столбцов, хочу подифать глазами столбцы в конкретных двух строках которые выбираю
не актуально, транспонировал
источник

ДГ

Дима Гуманов... in ClickHouse не тормозит
Что бы врубить ssl нужно сгенерить crt key pem и раскоментить 8443 порт? Или что-то ещё нужно? У меня не завелось, хотя порт раскоментил и все сгенерил
источник

Y

Yuri in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Проще в профиль парметр добавить, он же применяется на лету. И да можно этот bin файл удалить
Спасибо! временное изменение параметра помогло
источник

S

Slach in ClickHouse не тормозит
Илья Ибрагимов
пишет ошибку при вставк:

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10541260 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8f3f72d in /usr/bin/clickhouse
2. ? @ 0xd7af148 in /usr/bin/clickhouse
3. DB::StorageReplicatedMergeTree::write(std::__1::shared_ptr<DB::IAST> const&, DB::Context const&) @ 0xd758bb9 in /usr/bin/clickhouse
4. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xd0d5fdb in /usr/bin/clickhouse
5. DB::InterpreterInsertQuery::execute() @ 0xd0cd651 in /usr/bin/clickhouse
6. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xd0d5ba9 in /usr/bin/clickhouse
7. DB::InterpreterInsertQuery::execute() @ 0xd0cd651 in /usr/bin/clickhouse
8. DB::DistributedBlockOutputStream::writeToLocal(DB::Block const&, unsigned long) @ 0xd8a64d1 in /usr/bin/clickhouse
9. DB::DistributedBlockOutputStream::writeAsyncImpl(DB::Block const&, unsigned long) @ 0xd8a80f6 in /usr/bin/clickhouse
10. DB::DistributedBlockOutputStream::writeSplitAsync(DB::Block const&) @ 0xd8a85a0 in /usr/bin/clickhouse
11. DB::DistributedBlockOutputStream::write(DB::Block const&) @ 0xd8a8b2d in /usr/bin/clickhouse
12. DB::PushingToViewsBlockOutputStream::write(DB::Block const&) @ 0xd0d4b1e in /usr/bin/clickhouse
13. DB::SquashingBlockOutputStream::writeSuffix() @ 0xd0e286a in /usr/bin/clickhouse
14. DB::TCPHandler::processInsertQuery(DB::Settings const&) @ 0x90217b2 in /usr/bin/clickhouse
15. DB::TCPHandler::runImpl() @ 0x9022ecf in /usr/bin/clickhouse
16. DB::TCPHandler::run() @ 0x90234c0 in /usr/bin/clickhouse
17. Poco::Net::TCPServerConnection::start() @ 0xe3b885b in /usr/bin/clickhouse
18. Poco::Net::TCPServerDispatcher::run() @ 0xe3b8cdd in /usr/bin/clickhouse
19. Poco::PooledThread::run() @ 0x105cf3c7 in /usr/bin/clickhouse
20. Poco::ThreadImpl::runnableEntry(void*) @ 0x105cb1cc in /usr/bin/clickhouse
21. ? @ 0x105ccb6d in /usr/bin/clickhouse
22. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
23. __clone @ 0x12188f in /lib/x86_64-linux-gnu/libc-2.27.so
у вас коннекта нет между нодами
в приведенном stacktrace там выше сообщение об ошибке есть в логе выше
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
Slach
у вас коннекта нет между нодами
в приведенном stacktrace там выше сообщение об ошибке есть в логе выше
спасибо! Как чинить?
источник

S

Slach in ClickHouse не тормозит
Илья Ибрагимов
спасибо! Как чинить?
сообщение об ошибке при insert посмотрите
ну и у вас zookeeper поднят в k8s?
под с зукипером живой?
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
А в чем разница между матвьями которые POPULATED и которые TO db.table? Я понимаю что в одном случае создается кэш-таблица на диске, а в другом не создается. А еще какие-нибудь различия есть? Зачем вообще может понадобиться популейтед таблица в матвью? Это чтобы выгребать данные с нод кластера или есть смысл такое мутить даже если табличка "локальная"?
источник

A

Andrey in ClickHouse не тормозит
Евгений Гордеев
А в чем разница между матвьями которые POPULATED и которые TO db.table? Я понимаю что в одном случае создается кэш-таблица на диске, а в другом не создается. А еще какие-нибудь различия есть? Зачем вообще может понадобиться популейтед таблица в матвью? Это чтобы выгребать данные с нод кластера или есть смысл такое мутить даже если табличка "локальная"?
TO появилось сильно позже. Изначально его не было и просто создавалась таблица под mview со специальным именем.
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
Slach
сообщение об ошибке при insert посмотрите
ну и у вас zookeeper поднят в k8s?
под с зукипером живой?
посмотрю все, спасибо!
источник

S

Slach in ClickHouse не тормозит
Илья Ибрагимов
спасибо! Как чинить?
sessions expired это значит нет коннекта с Zookeeper
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дима Гуманов
Что бы врубить ssl нужно сгенерить crt key pem и раскоментить 8443 порт? Или что-то ещё нужно? У меня не завелось, хотя порт раскоментил и все сгенерил
в логе КХ написано что неправильно, может права на key кривые
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Евгений Гордеев
А в чем разница между матвьями которые POPULATED и которые TO db.table? Я понимаю что в одном случае создается кэш-таблица на диске, а в другом не создается. А еще какие-нибудь различия есть? Зачем вообще может понадобиться популейтед таблица в матвью? Это чтобы выгребать данные с нод кластера или есть смысл такое мутить даже если табличка "локальная"?
написано же все в доке?

без populate -- MV увидит данные только от новых инсертов
populate -- заполнить MV данными из основной таблицы

без TO -- MV создаст таблицу в которой будут хранится ее данные самостоятельно и назовет эту свою таблицу .inner.mvname
c TO -- мы сами создали таблицу в которой будут хранится данные MV

populate и TO несовместимы, это недоделка

в MV можно делать инсерты, и заполнять ее как угодно без использования populate

optimize_move_to_prewhere не работает если делать запросы к MV, поэтому MV без TO теряют смысл (или делать селекты к .inner.mvname вручную, что полный бред)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и до кучи: MV это триггер на инсерт, оно не читает исходную таблицу (кроме шага populate)
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и до кучи: MV это триггер на инсерт, оно не читает исходную таблицу (кроме шага populate)
Даже когда оно ТО?
источник