Size: a a a

ClickHouse не тормозит

2021 February 17

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в таблицах в zk пути /clickhouse/{cluster}/
и макрос cluster = production
вопрос именно про ddl_queue
источник

D

Dj in ClickHouse не тормозит
хочется как то так
ALTER XXX ON CLUSTER 'dj1' —> /clickhouse/dj1/taskqueue/ddl
ALTER XXX ON CLUSTER 'dj2' —> /clickhouse/dj2/taskqueue/ddl
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ааа, теперь я понял, мы про разные кластер. нет такого нет

есть поле в system.distributed_ddl_queue -- cluster String
источник

MP

Mikhail Petrov in ClickHouse не тормозит
Привет!
А вот у меня стоит версия 21.2.3, и все равно странность продолжается, хотя и с другим описанием ошибки.

2021.02.17 17:39:23.335363 [ 4311 ] {} <Error> Application: DB::Exception: Dictionary currencies not found: While processing cast(round((cast(CAST(0, 'Float64') AS net_payable_tmp_alter4356405148083041578, 'Float64') AS net_payable) / dictGetOrDefault('currencies', 'rate', (toDate(cast(toDate(ts) AS event_date_tmp_alter17982640985317140739, 'Date') AS event_date), 'USD'), toFloat32(1)), 10) AS dict_net_payable_usd_tmp_alter16205984575900781392, 'Float64') AS dict_net_payable_usd: default expression and column type are incompatible.

Опсание из таблицы:

`dict_net_payable_usd` Float64 DEFAULT round(net_payable / dictGetOrDefault('currencies', 'rate', (toDate(event_date), 'USD'), toFloat32(1)), 10),

таблица типа Distributed, если что.
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ааа, теперь я понял, мы про разные кластер. нет такого нет

есть поле в system.distributed_ddl_queue -- cluster String
ok, на самом деле КХ дальше сам подставляет имя кластера в конец пути, все ок.
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ааа, теперь я понял, мы про разные кластер. нет такого нет

есть поле в system.distributed_ddl_queue -- cluster String
/clickhouse/taskqueue/ddl/dj1/
/clickhouse/taskqueue/ddl/dj2/
так как то само происходит
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, привет! Начала падать такая ошибка. По тексту все понятно, кроме имени таблицы, в которой это происходит. В стектрейсе таблицы тоже нет

2021.02.17 15:51:28.789818 [ 34168 ] {} <Error> void DB::StorageKafka::threadFunc(size_t): Code: 55, e.displayText() = DB::Exception: Method write is not supported by storage Distributed with more than one shard and no sharding key provided, Stack trace (when copying this message, always include the lines below):
0. DB::StorageDistributed::write(std::__1::shared_ptr<DB::IAST> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&) @ 0xe01443f in /usr/bin/clickhouse
1. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb787d3 in /usr/bin/clickhouse
2. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
3. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb79a50 in /usr/bin/clickhouse
4. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
5. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb79a50 in /usr/bin/clickhouse
6. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
7. DB::StorageKafka::streamToViews() @ 0xe21500e in /usr/bin/clickhouse
8. DB::StorageKafka::threadFunc(unsigned long) @ 0xe2142be in /usr/bin/clickhouse
9. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0xd8af5b2 in /usr/bin/clickhouse
10. DB::BackgroundSchedulePool::threadFunction() @ 0xd8b1a32 in /usr/bin/clickhouse
11. ? @ 0xd8b2ca3 in /usr/bin/clickhouse
12. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x7b8963d in /usr/bin/clickhouse
13. ? @ 0x7b8d153 in /usr/bin/clickhouse
14. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
15. __clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so
(version 20.10.5.10 (official build))
источник

NM

Nikolay Mulyar in ClickHouse не тормозит
Всем привет. Вопрос: есть ReplacingMergeTree, возникла необходимость добавить в ORDER BY уже существующее поле (где уже есть значения)
Насколько понял из документации, так делать нельзя и модифицировать его можно только при добавлении нового столбца

Какой корректный путь для решения этой задачи?
источник

D

Dj in ClickHouse не тормозит
Nikolay Mulyar
Всем привет. Вопрос: есть ReplacingMergeTree, возникла необходимость добавить в ORDER BY уже существующее поле (где уже есть значения)
Насколько понял из документации, так делать нельзя и модифицировать его можно только при добавлении нового столбца

Какой корректный путь для решения этой задачи?
источник

NM

Nikolay Mulyar in ClickHouse не тормозит
Спасибо. Но по примеру, насколько понимаю, модификация order by идет одновременно с созданием нового поля, что разрешено по документации
В моем случае оно уже существует и наполнено данными. Подход по ссылке ведь не сработает?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nikolay Mulyar
Спасибо. Но по примеру, насколько понимаю, модификация order by идет одновременно с созданием нового поля, что разрешено по документации
В моем случае оно уже существует и наполнено данными. Подход по ссылке ведь не сработает?
непонятно что вы хотите. У вас поле заполнено данными и сейчас значение в этом поле перезатирается последним инсертом (состояние)

вы хотите добавить это поле в order by , для того чтобы что ? чтобы хранились все состояния этого поля тоже?
источник

NM

Nikolay Mulyar in ClickHouse не тормозит
"чтобы хранились все состояния этого поля тоже?"
Да, именно так
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
только переливать в новую таблицу.
Записи хранятся уже отсортироваными, добавление уже заполненого поля в order by требует полной пересортировки.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
т.е. я например знаю как добавить такое поле в order by, но только все селекты сломаются (будут результат неверный выдавать)
источник

NM

Nikolay Mulyar in ClickHouse не тормозит
Понял,  была маленькая надежда что как-то можно провернуть
Спасибо за помощь
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Коллеги, какой тип лучше использовать для хранения массива фиксированной длины? Array, Tuple, еще что-то?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Konstantin Malanchev
Коллеги, какой тип лучше использовать для хранения массива фиксированной длины? Array, Tuple, еще что-то?
просто Array
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Спасибо!
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
То есть никакого выигрыша от фиксированной длины элемента не будет? Длина небольшая, не больше 10
источник

D

Dj in ClickHouse не тормозит
Konstantin Malanchev
То есть никакого выигрыша от фиксированной длины элемента не будет? Длина небольшая, не больше 10
используйте 10 колонок
источник