Size: a a a

ClickHouse не тормозит

2021 January 20

AZ

Alex Zelensky in ClickHouse не тормозит
0. COW<DB::IColumn>::immutable_ptr<DB::IColumn> DB::ConvertImpl<DB::DataTypeNumber<char8_t>, DB::DataTypeUUID, DB::NameToUUID, DB::ConvertDefaultBehaviorTag>::execute<void*>(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long, void*) @ 0xa214099 in /usr/bin/clickhouse
1. bool DB::callOnIndexAndDataType<DB::DataTypeUUID, DB::FunctionConvert<DB::DataTypeUUID, DB::NameToUUID, DB::ToNumberMonotonicity<DB::UInt128> >::executeInternal(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long) const::'lambda'(DB::DataTypeUUID const&, DB::NameToUUID const&)&, DB::ConvertDefaultBehaviorTag>(DB::TypeIndex, DB::NameToUUID&&, DB::ToNumberMonotonicity<DB::UInt128>&&...) @ 0xa20e114 in /usr/bin/clickhouse
2. DB::FunctionConvert<DB::DataTypeUUID, DB::NameToUUID, DB::ToNumberMonotonicity<DB::UInt128> >::executeInternal(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long) const @ 0xa20d8fc in /usr/bin/clickhouse
3. DB::FunctionConvert<DB::DataTypeUUID, DB::NameToUUID, DB::ToNumberMonotonicity<DB::UInt128> >::executeImpl(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long) const @ 0xa20cfcc in /usr/bin/clickhouse
4. DB::IFunction::executeImplDryRun(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long) const @ 0xa0634fa in /usr/bin/clickhouse
5. DB::DefaultExecutable::executeDryRun(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long) const @ 0xa06285e in /usr/bin/clickhouse
6. DB::ExecutableFunctionAdaptor::executeWithoutLowCardinalityColumns(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long, bool) const @ 0xa066a36 in /usr/bin/clickhouse
7. DB::ExecutableFunctionAdaptor::defaultImplementationForConstantArguments(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long, bool) const @ 0xa066253 in /usr/bin/clickhouse
8. DB::ExecutableFunctionAdaptor::executeWithoutLowCardinalityColumns(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long, bool) const @ 0xa0669f5 in /usr/bin/clickhouse
9. DB::ExecutableFunctionAdaptor::execute(std::__1::vector<DB::ColumnWithTypeAndName, std::__1::allocator<DB::ColumnWithTypeAndName> > const&, std::__1::shared_ptr<DB::IDataType const> const&, unsigned long, bool) const @ 0xa0670f1 in /usr/bin/clickhouse
10. DB::ActionsDAG::addFunction(std::__1::shared_ptr<DB::IFunctionOverloadResolver> const&, std::__1::vector<DB::ActionsDAG::Node*, std::__1::allocator<DB::ActionsDAG::Node*> >, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, bool) @ 0xeb259bb in /usr/bin/clickhouse
11. DB::ActionsDAG::addFunction(std::__1::shared_ptr<DB::IFunctionOverloadResolver> const&, std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, DB::Context const&) @ 0xeb24f97 in /usr/bin/clickhouse
источник

AZ

Alex Zelensky in ClickHouse не тормозит
12. DB::ScopeStack::addFunction(std::__1::shared_ptr<DB::IFunctionOverloadResolver> const&, std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >) @ 0xeece115 in /usr/bin/clickhouse
13. DB::ActionsMatcher::visit(DB::ASTFunction const&, std::__1::shared_ptr<DB::IAST> const&, DB::ActionsMatcher::Data&) @ 0xeed3ad7 in /usr/bin/clickhouse
14. DB::ActionsMatcher::visit(DB::ASTFunction const&, std::__1::shared_ptr<DB::IAST> const&, DB::ActionsMatcher::Data&) @ 0xeed062b in /usr/bin/clickhouse
15. DB::InDepthNodeVisitor<DB::ActionsMatcher, true, std::__1::shared_ptr<DB::IAST> const>::visit(std::__1::shared_ptr<DB::IAST> const&) @ 0xeea63e7 in /usr/bin/clickhouse
16. DB::ExpressionAnalyzer::getRootActions(std::__1::shared_ptr<DB::IAST> const&, bool, std::__1::shared_ptr<DB::ActionsDAG>&, bool) @ 0xeea61fc in /usr/bin/clickhouse
17. DB::ExpressionAnalyzer::getActionsDAG(bool, bool) @ 0xeeb17a8 in /usr/bin/clickhouse
18. DB::validateColumnsDefaultsAndGetSampleBlock(std::__1::shared_ptr<DB::IAST>, DB::NamesAndTypesList const&, DB::Context const&) @ 0xf2eb1d2 in /usr/bin/clickhouse
19. DB::InterpreterCreateQuery::getColumnsDescription(DB::ASTExpressionList const&, DB::Context const&, bool) @ 0xedc11b4 in /usr/bin/clickhouse
20. DB::createTableFromAST(DB::ASTCreateQuery, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, bool) @ 0xebdcffa in /usr/bin/clickhouse
21. ? @ 0xebd284d in /usr/bin/clickhouse
22. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0x86441bd in /usr/bin/clickhouse
23. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...)::'lambda'()::operator()() @ 0x864671f in /usr/bin/clickhouse
24. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x86415ed in /usr/bin/clickhouse
25. ? @ 0x86451a3 in /usr/bin/clickhouse
26. start_thread @ 0x7e75 in /lib64/libpthread-2.17.so
27. clone @ 0xfe8fd in /lib64/libc-2.17.so
(version 21.1.2.15 (official build))
2021.01.20 17:14:54.858533 [ 3997 ] {} <Information> Application: Shutting down storages.
источник

D

Dj in ClickHouse не тормозит
Alex Zelensky
12. DB::ScopeStack::addFunction(std::__1::shared_ptr<DB::IFunctionOverloadResolver> const&, std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >) @ 0xeece115 in /usr/bin/clickhouse
13. DB::ActionsMatcher::visit(DB::ASTFunction const&, std::__1::shared_ptr<DB::IAST> const&, DB::ActionsMatcher::Data&) @ 0xeed3ad7 in /usr/bin/clickhouse
14. DB::ActionsMatcher::visit(DB::ASTFunction const&, std::__1::shared_ptr<DB::IAST> const&, DB::ActionsMatcher::Data&) @ 0xeed062b in /usr/bin/clickhouse
15. DB::InDepthNodeVisitor<DB::ActionsMatcher, true, std::__1::shared_ptr<DB::IAST> const>::visit(std::__1::shared_ptr<DB::IAST> const&) @ 0xeea63e7 in /usr/bin/clickhouse
16. DB::ExpressionAnalyzer::getRootActions(std::__1::shared_ptr<DB::IAST> const&, bool, std::__1::shared_ptr<DB::ActionsDAG>&, bool) @ 0xeea61fc in /usr/bin/clickhouse
17. DB::ExpressionAnalyzer::getActionsDAG(bool, bool) @ 0xeeb17a8 in /usr/bin/clickhouse
18. DB::validateColumnsDefaultsAndGetSampleBlock(std::__1::shared_ptr<DB::IAST>, DB::NamesAndTypesList const&, DB::Context const&) @ 0xf2eb1d2 in /usr/bin/clickhouse
19. DB::InterpreterCreateQuery::getColumnsDescription(DB::ASTExpressionList const&, DB::Context const&, bool) @ 0xedc11b4 in /usr/bin/clickhouse
20. DB::createTableFromAST(DB::ASTCreateQuery, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, bool) @ 0xebdcffa in /usr/bin/clickhouse
21. ? @ 0xebd284d in /usr/bin/clickhouse
22. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0x86441bd in /usr/bin/clickhouse
23. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...)::'lambda'()::operator()() @ 0x864671f in /usr/bin/clickhouse
24. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x86415ed in /usr/bin/clickhouse
25. ? @ 0x86451a3 in /usr/bin/clickhouse
26. start_thread @ 0x7e75 in /lib64/libpthread-2.17.so
27. clone @ 0xfe8fd in /lib64/libc-2.17.so
(version 21.1.2.15 (official build))
2021.01.20 17:14:54.858533 [ 3997 ] {} <Information> Application: Shutting down storages.
залейте куда нить на hastebin
источник

DT

Dmitry Titov in ClickHouse не тормозит
Можете сделать поиск по метадате (по дефолту /var/lib/clickhouse/metadata/) на наличие "click_transaction_id_tmp_alter4665484246427899840"
источник

M

Mishanya in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/blob/00d240853dff16b9ba5499db612054e6fe04225a/src/Functions/FunctionsConversion.h#L197

я вообще не эксперт, но видимо cast(uuid, ‘uuid’) кидает такое
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Dmitry Titov
Можете сделать поиск по метадате (по дефолту /var/lib/clickhouse/metadata/) на наличие "click_transaction_id_tmp_alter4665484246427899840"
не можем найти
источник

M

Mishanya in ClickHouse не тормозит
вы точно никакой альтер не запускали ? типа с айдишки в юид
источник

AZ

Alex Zelensky in ClickHouse не тормозит
UUID в ключе, альтер для UUID точно не запускали
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alex Zelensky
не можем найти
А что находится в логах до
<Error> Application: DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0) AS click_transaction_id_tmp_alter4665484246427899840, 'UUID’)..

Может быть в обычных логах, кх должен писать название таблицы которую присоединяет
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Базу указывает, при чем мы пробовали из метадаты папки этой базы пернести на время, не помогало. Такая же ошибка, но для следующей базы по порядку
источник

M

Munir in ClickHouse не тормозит
Alex Zelensky
не можем найти
click_transaction_id_tmp_alter - где такой префикс используете?
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Munir
click_transaction_id_tmp_alter - где такой префикс используете?
Вот именно, что нигде такого не используем. В коде нет такого
источник

AP

Alexander Petrov in ClickHouse не тормозит
Вот это что-то возвращает? sudo find /var/lib/clickhouse/metadata -name "*.sql" | xargs grep click_transaction_id_tmp_alter
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alex Zelensky
Базу указывает, при чем мы пробовали из метадаты папки этой базы пернести на время, не помогало. Такая же ошибка, но для следующей базы по порядку
Ну хорошо, сколько таблиц в первой базе с ошибкой?

ls -d  /var/lib/clickhouse/data/*/*/* | grep mutation
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Может есть какой-то игнорировать какие-то базы (мету переместить чтоли), чтобы вообще он запустился
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alex Zelensky
Может есть какой-то игнорировать какие-то базы (мету переместить чтоли), чтобы вообще он запустился
можно добавить к .sql файлам .bak
те .sql.bak
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Alexander Petrov
Вот это что-то возвращает? sudo find /var/lib/clickhouse/metadata -name "*.sql" | xargs grep click_transaction_id_tmp_alter
нет ничего
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Dmitry Titov
Ну хорошо, сколько таблиц в первой базе с ошибкой?

ls -d  /var/lib/clickhouse/data/*/*/* | grep mutation
очень много, до пары тысяч
источник

DT

Dmitry Titov in ClickHouse не тормозит
> validateColumnsDefaultsAndGetSampleBlock

Судя по этому проблема у какого то DEFAULT значение.
источник

AP

Alexander Petrov in ClickHouse не тормозит
Но тогда по идее по метаданным должно грепаться
источник