Size: a a a

ClickHouse не тормозит

2020 June 26

D

Dj in ClickHouse не тормозит
Al T
кстати вот турецкие стартапы набирают обороты...
да? все относительно...
источник

AT

Al T in ClickHouse не тормозит
а рабочие визы там просто делаются или через боль и мучения...
источник

AT

Al T in ClickHouse не тормозит
Dj
да? все относительно...
Да, ну наверно пока не так на слуху как Израильские, но было пару выходов в этом году на лярд
источник

D

Dj in ClickHouse не тормозит
Al T
а рабочие визы там просто делаются или через боль и мучения...
у нас просто... но мелким стартапам должно быть сложнее (есть требование на пропорцию местных к неместным)
источник

D

Dj in ClickHouse не тормозит
Al T
Да, ну наверно пока не так на слуху как Израильские, но было пару выходов в этом году на лярд
да, игроделы и крутилки реклам везде... из-за них все хотят только игры писать и формочки переставлять =)
источник

DP

Dmitry Pitik in ClickHouse не тормозит
Всем привет, может кто подсказать по KAFKA ENGINE? Фактор репликации x2. Данные из kafka таблицы пробрасываю в ReplicatedSummingMergeeTree с помощью materialized view. Вопрос: KAFKA таблицы надо создавать только на master машинах или на всех машинах? Если создаю на всех машинах, то приходят не все данные (видимо какие то конфликты)
источник

K

Kasabian in ClickHouse не тормозит
К сожалению нет таких логов, только ошибки следующего формата

020.06.26 15:13:30.824286 [ 269 ] {} <Error> DynamicQueryHandler: Code: 8, e.displayText() = DB::Exception: Field brand_id not found in Avro schema: While executing SourceFromInputStream, Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10406ef0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8ff88ad in /usr/bin/clickhouse
2. ? @ 0xdb32ec7 in /usr/bin/clickhouse
3. DB::AvroConfluentRowInputFormat::getOrCreateDeserializer(unsigned int) @ 0xdb30fd8 in /usr/bin/clickhouse
4. DB::AvroConfluentRowInputFormat::readRow(std::__1::vector<COW<DB::IColumn>::mutable_ptr<DB::IColumn>, std::__1::allocator<COW<DB::IColumn>::mutable_ptr<DB::IColumn> > >&, DB::RowReadExtension&) @ 0xdb313bd in /usr/bin/clickhouse
5. DB::IRowInputFormat::generate() @ 0xdb4b9c1 in /usr/bin/clickhouse

[ 248 ] {} <Error> DynamicQueryHandler: Code: 8, e.displayText() = DB::Exception: Field brand_id not found in Avro schema: While executing SourceFromInputStream, Stack trace (when copying this message, always include the lines below):

While executing SourceFromInputStream (version 20.4.2.9 (official build)) (from *.*.*.*:57874) (in query: SELECT * FROM ga.payments_s LIMIT 100 FORMAT TabSeparatedWithNamesAndTypes;), Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10406ef0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8ff88ad in /usr/bin/clickhouse
2. ? @ 0xdb32ec7 in /usr/bin/clickhouse
3. DB::AvroConfluentRowInputFormat::getOrCreateDeserializer(unsigned int) @ 0xdb30fd8 in /usr/bin/clickhouse
4. DB::AvroConfluentRowInputFormat::readRow(std::__1::vector<COW<DB::IColumn>::mutable_ptr<DB::IColumn>, std::__1::allocator<COW<DB::IColumn>::mutable_ptr<DB::IColumn> > >&, DB::RowReadExtension&) @ 0xdb313bd in /usr/bin/clickhouse
5. DB::IRowInputFormat::generate() @ 0xdb4b9c1 in /usr/bin/clickhouse
6. DB::ISource::work() @ 0xdae25fb in /usr/bin/clickhouse
7. ? @ 0xd7ee7dd in /usr/bin/clickhouse
8. DB::KafkaBlockInputStream::readImpl() @ 0xd7ef3b8 in /usr/bin/clickhouse
9. DB::IBlockInputStream::read() @ 0xce37e0d in /usr/bin/clickhouse
10. DB::SourceFromInputStream::generate() @ 0xdd23e84 in /usr/bin/clickhouse
11. DB::ISource::work() @ 0xdae25fb in /usr/bin/clickhouse
12. DB::SourceFromInputStream::work() @ 0xdd23d5d in /usr/bin/clickhouse
13. ? @ 0xdb0b9a1 in /usr/bin/clickhouse
14. DB::PipelineExecutor::executeSingleThread(unsigned long, unsigned long) @ 0xdb0f95d in /usr/bin/clickhouse
15. DB::PipelineExecutor::executeImpl(unsigned long) @ 0xdb11a98 in /usr/bin/clickhouse
16. DB::PipelineExecutor::execute(unsigned long) @ 0xdb11c65 in /usr/bin/clickhouse
17. DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::__1::function<void (std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&)>) @ 0xd53be0b in /usr/bin/clickhouse
...
источник

K

Kasabian in ClickHouse не тормозит
Переслано от Dmitry Titov
LOG_TRACE((&Logger::get("AvroConfluentRowInputFormat")),
"Succesfully fetched schema  id = " << id << "\n" << schema);
А как он в логах плюется?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Kasabian
К сожалению нет таких логов, только ошибки следующего формата

020.06.26 15:13:30.824286 [ 269 ] {} <Error> DynamicQueryHandler: Code: 8, e.displayText() = DB::Exception: Field brand_id not found in Avro schema: While executing SourceFromInputStream, Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10406ef0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8ff88ad in /usr/bin/clickhouse
2. ? @ 0xdb32ec7 in /usr/bin/clickhouse
3. DB::AvroConfluentRowInputFormat::getOrCreateDeserializer(unsigned int) @ 0xdb30fd8 in /usr/bin/clickhouse
4. DB::AvroConfluentRowInputFormat::readRow(std::__1::vector<COW<DB::IColumn>::mutable_ptr<DB::IColumn>, std::__1::allocator<COW<DB::IColumn>::mutable_ptr<DB::IColumn> > >&, DB::RowReadExtension&) @ 0xdb313bd in /usr/bin/clickhouse
5. DB::IRowInputFormat::generate() @ 0xdb4b9c1 in /usr/bin/clickhouse

[ 248 ] {} <Error> DynamicQueryHandler: Code: 8, e.displayText() = DB::Exception: Field brand_id not found in Avro schema: While executing SourceFromInputStream, Stack trace (when copying this message, always include the lines below):

While executing SourceFromInputStream (version 20.4.2.9 (official build)) (from *.*.*.*:57874) (in query: SELECT * FROM ga.payments_s LIMIT 100 FORMAT TabSeparatedWithNamesAndTypes;), Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10406ef0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8ff88ad in /usr/bin/clickhouse
2. ? @ 0xdb32ec7 in /usr/bin/clickhouse
3. DB::AvroConfluentRowInputFormat::getOrCreateDeserializer(unsigned int) @ 0xdb30fd8 in /usr/bin/clickhouse
4. DB::AvroConfluentRowInputFormat::readRow(std::__1::vector<COW<DB::IColumn>::mutable_ptr<DB::IColumn>, std::__1::allocator<COW<DB::IColumn>::mutable_ptr<DB::IColumn> > >&, DB::RowReadExtension&) @ 0xdb313bd in /usr/bin/clickhouse
5. DB::IRowInputFormat::generate() @ 0xdb4b9c1 in /usr/bin/clickhouse
6. DB::ISource::work() @ 0xdae25fb in /usr/bin/clickhouse
7. ? @ 0xd7ee7dd in /usr/bin/clickhouse
8. DB::KafkaBlockInputStream::readImpl() @ 0xd7ef3b8 in /usr/bin/clickhouse
9. DB::IBlockInputStream::read() @ 0xce37e0d in /usr/bin/clickhouse
10. DB::SourceFromInputStream::generate() @ 0xdd23e84 in /usr/bin/clickhouse
11. DB::ISource::work() @ 0xdae25fb in /usr/bin/clickhouse
12. DB::SourceFromInputStream::work() @ 0xdd23d5d in /usr/bin/clickhouse
13. ? @ 0xdb0b9a1 in /usr/bin/clickhouse
14. DB::PipelineExecutor::executeSingleThread(unsigned long, unsigned long) @ 0xdb0f95d in /usr/bin/clickhouse
15. DB::PipelineExecutor::executeImpl(unsigned long) @ 0xdb11a98 in /usr/bin/clickhouse
16. DB::PipelineExecutor::execute(unsigned long) @ 0xdb11c65 in /usr/bin/clickhouse
17. DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::__1::function<void (std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&)>) @ 0xd53be0b in /usr/bin/clickhouse
...
ну только писать багу, кмк
источник

K

Kasabian in ClickHouse не тормозит
@unamedrus хорошо, спасибо за помощь 👍🏻
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, а в КХ можно как-то хранить дату меньше чем 1970 год?)
источник

T

Tim in ClickHouse не тормозит
Интом и считать самим
источник

T

Tim in ClickHouse не тормозит
Ещё есть datetime 64, но в него ток хотят вроде завести это
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Tim
Интом и считать самим
беда (
источник

AT

Al T in ClickHouse не тормозит
прикиньте чо! прислали смс-ку что в мою деревню на следущей неделе приедет супер экслюзивная футболка от клихкауса - буду ходячей рекламой!
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Tim
Ещё есть datetime 64, но в него ток хотят вроде завести это
используем его уже для миллисекунд
источник

M

Maxim in ClickHouse не тормозит
Привет! Подскажите, пожалуйста, можно ли прокидывать идентификатор запроса, который окажется в логах КХ, в сам запрос? (желательно вариант не через query параметры коннекта к базе)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Al T
прикиньте чо! прислали смс-ку что в мою деревню на следущей неделе приедет супер экслюзивная футболка от клихкауса - буду ходячей рекламой!
вроде футболки только внутри Р доставляют, или пересылка? я тоже хочу футболку
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вроде футболки только внутри Р доставляют, или пересылка? я тоже хочу футболку
воу воу, я тож хочу )
источник

AT

Al T in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вроде футболки только внутри Р доставляют, или пересылка? я тоже хочу футболку
пришла смска от DHL что доставят 30го июня... прям вот в страну непуганных детей и цветов
источник