Size: a a a

ClickHouse не тормозит

2021 February 17

KM

Konstantin Malanchev in ClickHouse не тормозит
Это хорошо, но неудобно
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Данные всегда будут вместе использовать
источник

D

Dj in ClickHouse не тормозит
ну... тогда массив
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Хорошо, спасибо!
источник

L

Lesha in ClickHouse не тормозит
Привет. Делаю вставку в таблицу. Вставка очень маленькая, но получаю ошибку: clickhouse: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.4.6.53 (official build))
В логах такое:

2021.02.17 18:34:25.522974 [ 31390 ] {a25e3fe2-1f26-46c7-9d14-f30ed2d69c16} <Error> executeQuery: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.4.6.53 (official build)) (from 10.0.1.6:58506) (in query: INSERT INTO trending_on_twitter (Currency,Time,UpdateTime,AverageTweetVolume30Day,RelativeTweetVolume,TweetVolume) VALUES), Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10412fe0 in /usr/bin/clickhouse
1. DB::throwReadAfterEOF() @ 0x9013e2f in /usr/bin/clickhouse
2. void DB::readDecimalText<DB::Decimal<__int128> >(DB::ReadBuffer&, DB::Decimal<__int128>&, unsigned int, unsigned int&, bool) @ 0xcf4d5ef in /usr/bin/clickhouse
3. DB::DataTypeDecimal<DB::Decimal<__int128> >::readText(DB::Decimal<__int128>&, DB::ReadBuffer&, unsigned int, unsigned int, bool) @ 0xcf4d95c in /usr/bin/clickhouse
4. void DB::ConvertThroughParsing<DB::DataTypeString, DB::DataTypeDecimal<DB::Decimal<__int128> >, DB::NameCast, (DB::ConvertFromStringExceptionMode)0, (DB::ConvertFromStringParsingMode)0>::execute<unsigned int>(DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long, unsigned int) @ 0x92df85f in /usr/bin/clickhouse
5. std::__1::__function::__func<std::__1::enable_if<IsDataTypeDecimal<DB::DataTypeDecimal<DB::Decimal<__int128> > >, std::__1::function<void (DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long)> >::type DB::FunctionCast::createDecimalWrapper<DB::DataTypeDecimal<DB::Decimal<__int128> > >(std::__1::shared_ptr<DB::IDataType const> const&, DB::DataTypeDecimal<DB::Decimal<__int128> > const*) const::'lambda'(DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long), std::__1::allocator<std::__1::enable_if<IsDataTypeDecimal<DB::DataTypeDecimal<DB::Decimal<__int128> > >, std::__1::function<void (DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long)> >::type ..........



Что может быть, куда копать?
источник

D

Dj in ClickHouse не тормозит
Lesha
Привет. Делаю вставку в таблицу. Вставка очень маленькая, но получаю ошибку: clickhouse: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.4.6.53 (official build))
В логах такое:

2021.02.17 18:34:25.522974 [ 31390 ] {a25e3fe2-1f26-46c7-9d14-f30ed2d69c16} <Error> executeQuery: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.4.6.53 (official build)) (from 10.0.1.6:58506) (in query: INSERT INTO trending_on_twitter (Currency,Time,UpdateTime,AverageTweetVolume30Day,RelativeTweetVolume,TweetVolume) VALUES), Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10412fe0 in /usr/bin/clickhouse
1. DB::throwReadAfterEOF() @ 0x9013e2f in /usr/bin/clickhouse
2. void DB::readDecimalText<DB::Decimal<__int128> >(DB::ReadBuffer&, DB::Decimal<__int128>&, unsigned int, unsigned int&, bool) @ 0xcf4d5ef in /usr/bin/clickhouse
3. DB::DataTypeDecimal<DB::Decimal<__int128> >::readText(DB::Decimal<__int128>&, DB::ReadBuffer&, unsigned int, unsigned int, bool) @ 0xcf4d95c in /usr/bin/clickhouse
4. void DB::ConvertThroughParsing<DB::DataTypeString, DB::DataTypeDecimal<DB::Decimal<__int128> >, DB::NameCast, (DB::ConvertFromStringExceptionMode)0, (DB::ConvertFromStringParsingMode)0>::execute<unsigned int>(DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long, unsigned int) @ 0x92df85f in /usr/bin/clickhouse
5. std::__1::__function::__func<std::__1::enable_if<IsDataTypeDecimal<DB::DataTypeDecimal<DB::Decimal<__int128> > >, std::__1::function<void (DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long)> >::type DB::FunctionCast::createDecimalWrapper<DB::DataTypeDecimal<DB::Decimal<__int128> > >(std::__1::shared_ptr<DB::IDataType const> const&, DB::DataTypeDecimal<DB::Decimal<__int128> > const*) const::'lambda'(DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long), std::__1::allocator<std::__1::enable_if<IsDataTypeDecimal<DB::DataTypeDecimal<DB::Decimal<__int128> > >, std::__1::function<void (DB::Block&, std::__1::vector<unsigned long, std::__1::allocator<unsigned long> > const&, unsigned long, unsigned long)> >::type ..........



Что может быть, куда копать?
Клиент отваливается
источник

MM

Michael M in ClickHouse не тормозит
Подскажите, пожалуйста, как хранить даты до 1970-01-01 ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Michael M
Подскажите, пожалуйста, как хранить даты до 1970-01-01 ?
https://github.com/ClickHouse/ClickHouse/pull/9404

Вот-вот будет добавлен DateTime64 с расширенными диапазоном дат.
источник

MM

Michael M in ClickHouse не тормозит
замена 1970 на 1925 наверное выглядит для кого-то логичной...
источник

K

Kid in ClickHouse не тормозит
Добрый вечер. 2 кх, между ними 1 зк. Добавил в конфиг зк еще два новых ЗК, все ок, первый лидер, остальные фоловеры, как я понял, они сами синхронизируются и получат данные о /clickhouse и пр. с первого ЗК?
источник
2021 February 18

D

Dj in ClickHouse не тормозит
Kid
Добрый вечер. 2 кх, между ними 1 зк. Добавил в конфиг зк еще два новых ЗК, все ок, первый лидер, остальные фоловеры, как я понял, они сами синхронизируются и получат данные о /clickhouse и пр. с первого ЗК?
да, все сами
источник

P

Push_okkk in ClickHouse не тормозит
Я конечно всё понимаю строгая типизация в КХ, но это уже слишком...

Types of array and 2nd argument of function has must be identical up to nullability or numeric types or Enum and numeric type. Passed: Array(String) and Array(String)

Кто
подскажет в чем проблема?

Получаю эту ошибку при использовании функции hasAny и hasAll
источник

3

3ldar in ClickHouse не тормозит
Push_okkk
Я конечно всё понимаю строгая типизация в КХ, но это уже слишком...

Types of array and 2nd argument of function has must be identical up to nullability or numeric types or Enum and numeric type. Passed: Array(String) and Array(String)

Кто
подскажет в чем проблема?

Получаю эту ошибку при использовании функции hasAny и hasAll
А вы пытаетесь найти массив из стринг в массиве из стринг?🤔
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да, писать в новую,  накрыть обе engine=Merge -- для селектов
через два года старая таблица станет пустой, натуральным образом
Неопытен еще, можете пример дать, как "накрывать"? И нужно ли менять его потом на MergeTree?
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
у старой таблицы было
ENGINE = MergeTree(date, (d, n, l), 8192)
как правильно внести изменения?
источник

S

Slach in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, привет! Начала падать такая ошибка. По тексту все понятно, кроме имени таблицы, в которой это происходит. В стектрейсе таблицы тоже нет

2021.02.17 15:51:28.789818 [ 34168 ] {} <Error> void DB::StorageKafka::threadFunc(size_t): Code: 55, e.displayText() = DB::Exception: Method write is not supported by storage Distributed with more than one shard and no sharding key provided, Stack trace (when copying this message, always include the lines below):
0. DB::StorageDistributed::write(std::__1::shared_ptr<DB::IAST> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&) @ 0xe01443f in /usr/bin/clickhouse
1. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb787d3 in /usr/bin/clickhouse
2. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
3. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb79a50 in /usr/bin/clickhouse
4. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
5. DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__1::shared_ptr<DB::IStorage> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::Context const&, std::__1::shared_ptr<DB::IAST> const&, bool) @ 0xdb79a50 in /usr/bin/clickhouse
6. DB::InterpreterInsertQuery::execute() @ 0xdb691fb in /usr/bin/clickhouse
7. DB::StorageKafka::streamToViews() @ 0xe21500e in /usr/bin/clickhouse
8. DB::StorageKafka::threadFunc(unsigned long) @ 0xe2142be in /usr/bin/clickhouse
9. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0xd8af5b2 in /usr/bin/clickhouse
10. DB::BackgroundSchedulePool::threadFunction() @ 0xd8b1a32 in /usr/bin/clickhouse
11. ? @ 0xd8b2ca3 in /usr/bin/clickhouse
12. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x7b8963d in /usr/bin/clickhouse
13. ? @ 0x7b8d153 in /usr/bin/clickhouse
14. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
15. __clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so
(version 20.10.5.10 (official build))
SELECT database, table, engine_full FROM system.tables WHERE engine='Distributed';
и там внимательно смотреть где у вас sharding key отсутствует
источник

S

Slach in ClickHouse не тормозит
Денис Анатольевич
Неопытен еще, можете пример дать, как "накрывать"? И нужно ли менять его потом на MergeTree?
менять Merge на MergeTree не нужно
про Merge прочитать можно тут

https://clickhouse.tech/docs/en/engines/table-engines/special/merge/
там есть прмерны

вы создаете просто рядом вторую таблицу
и третью "которая объединяет первые две"
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Slach
менять Merge на MergeTree не нужно
про Merge прочитать можно тут

https://clickhouse.tech/docs/en/engines/table-engines/special/merge/
там есть прмерны

вы создаете просто рядом вторую таблицу
и третью "которая объединяет первые две"
Ух ты! Спасибо, друг! Лишний раз убеждаюсь, что кх (для меня) революционный инструмент :)
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Slach
менять Merge на MergeTree не нужно
про Merge прочитать можно тут

https://clickhouse.tech/docs/en/engines/table-engines/special/merge/
там есть прмерны

вы создаете просто рядом вторую таблицу
и третью "которая объединяет первые две"
В ссылке как раз мой случай в первом же примере ))
источник

DN

Demetra Nadya in ClickHouse не тормозит
Кто использует clickhouse_driver для python
источник