Size: a a a

ClickHouse не тормозит

2020 May 14

SK

Serhii Kholodniuk in ClickHouse не тормозит
Данные кстати взял тестовые здесь
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
источник

VE

Vladimir Ermilov in ClickHouse не тормозит
Всем привет!
Ай нид хелп.

Переношу спарком данные из hive в clickhouse и натыкаюсь на ошибки.
1) Это, если переносить данные с помощью Java.sql.connection;
"Caused by: java.lang.Throwable: Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: ),(\'main,,,view,,communication.notificationsBell,0,6.8.5,,bx,home,ios,,0,0,Device iPhone10,4; IOS 13.3; SDK 0.1.0,,composer,,,,,,,,,2020-05-10,,,,,,0,1,1:"

2) Это, если через df.write()
Column 49,  name: object_marketing_action_id,              type: UInt64,                   parsed text: "0"
ERROR: garbage after UInt64: ".0<TAB><TAB>0<TAB>0<TAB><TAB>0"

Уже по датафрейму прошелся несколько раз и причесал null.  Числовые в 0, стринговые в "". Схемы у таблиц совпадают.
Если кто сталкивался, то буду рад любой помощи.
источник

SS

Sasha S in ClickHouse не тормозит
Добрый день, подскажите пожалуйста есть ли аналог clickhouse-client --use_client_time_zone для HTTP интерфейса?
источник

SC

Smoked Cheese in ClickHouse не тормозит
настройки подключения можно в GET параметрах передавать https://clickhouse.tech/docs/en/operations/settings/
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
ребят, подскажите плз, возможно ли как-то поменять путь к реплике таблицы в зукипере?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Vladimir Bunchuk
ребят, подскажите плз, возможно ли как-то поменять путь к реплике таблицы в зукипере?
задетачить партишны, пересоздать таблицу, приаттачить партишны
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Smoked Cheese
задетачить партишны, пересоздать таблицу, приаттачить партишны
а можно как-то все партиции сразу задетачить у таблицы?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Serhii Kholodniuk
Добрый день. Хочу забрать данные с КХ что-б пробросить в другу базу, для создания словаря. Когда делаю clickhouse-client —query “SELECT Title FROM datasets.hits_v1” > hits_v1.csv получаю первые строки “HD Tube 5*”. Такая же ситуация при добавлении FORMAT. Дальше данные идут как в таблице. В чем проблема? Если есть лучше вариант перебросить данные, посоветуйте пожалуйста.
виндоус?
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Линукс. Вроде разобрался спасибо. Действительно такие данные были в таблице. Они не упорядоченные просто.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sasha S
Добрый день, подскажите пожалуйста есть ли аналог clickhouse-client --use_client_time_zone для HTTP интерфейса?
нету, это настройка clickhouse-client, он конвертирует
источник

SS

Sasha S in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нету, это настройка clickhouse-client, он конвертирует
а как на ваш взгляд лучше делать на большом количестве данных с точки зрения производительности clickhouse, сперва сгруппировать по часам и потом сделать сдвиг по таймзоне, или не заморачитваться и сдвигать на всех записях?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sasha S
а как на ваш взгляд лучше делать на большом количестве данных с точки зрения производительности clickhouse, сперва сгруппировать по часам и потом сделать сдвиг по таймзоне, или не заморачитваться и сдвигать на всех записях?
сдвигать на всех
источник

SS

Sasha S in ClickHouse не тормозит
спасибо за ответ
источник

R

Rus_LAN in ClickHouse не тормозит
Всем привет
источник

R

Rus_LAN in ClickHouse не тормозит
подскажите пожалуйста, как в java правильно настроить пул для работы с кликом?
источник

АО

Алексей Островерхов... in ClickHouse не тормозит
кто может подсказать, с чем может быть связана эта ошибка в логе?
2020.05.14 19:45:59.678017 [ 50 ] {} <Error> virtual DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse(): Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 50914, Stack trace (when copying this message, always include the lines below):

0. 0xbc31d9c Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int)  in /usr/bin/clickhouse
1. 0x4f6ccd9 DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int)  in /usr/bin/clickhouse
2. 0x4cfe020 ?  in /usr/bin/clickhouse
3. 0x9b639ee DB::WriteBufferFromHTTPServerResponse::nextImpl()  in /usr/bin/clickhouse
4. 0x9b63d5f DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse()  in /usr/bin/clickhouse
5. 0x5002052 DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)  in /usr/bin/clickhouse
6. 0x9bb8bec Poco::Net::HTTPServerConnection::run()  in /usr/bin/clickhouse
7. 0x9bb5677 Poco::Net::TCPServerConnection::start()  in /usr/bin/clickhouse
8. 0x9bb5a6d Poco::Net::TCPServerDispatcher::run()  in /usr/bin/clickhouse
9. 0xbca44ff Poco::PooledThread::run()  in /usr/bin/clickhouse
10. 0xbca15c8 Poco::ThreadImpl::runnableEntry(void*)  in /usr/bin/clickhouse
11. 0xbca2e69 ?  in /usr/bin/clickhouse
12. 0x7dd5 start_thread  in /usr/lib64/libpthread-2.17.so
13. 0xfe02d clone  in /usr/lib64/libc-2.17.so
(version 20.1.2.4 (official build))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Rus_LAN
подскажите пожалуйста, как в java правильно настроить пул для работы с кликом?
так это не нужно. У КХ в JDBC нет постоянных коннектов (по умолчанию). Хотя конечно неизвестно какой jdbc драйвер у вас
источник

R

Rus_LAN in ClickHouse не тормозит
<groupId>ru.yandex.clickhouse</groupId>
           <artifactId>clickhouse-jdbc</artifactId>
           <version>0.2.3</version>
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Островерхов
кто может подсказать, с чем может быть связана эта ошибка в логе?
2020.05.14 19:45:59.678017 [ 50 ] {} <Error> virtual DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse(): Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 50914, Stack trace (when copying this message, always include the lines below):

0. 0xbc31d9c Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int)  in /usr/bin/clickhouse
1. 0x4f6ccd9 DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int)  in /usr/bin/clickhouse
2. 0x4cfe020 ?  in /usr/bin/clickhouse
3. 0x9b639ee DB::WriteBufferFromHTTPServerResponse::nextImpl()  in /usr/bin/clickhouse
4. 0x9b63d5f DB::WriteBufferFromHTTPServerResponse::~WriteBufferFromHTTPServerResponse()  in /usr/bin/clickhouse
5. 0x5002052 DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)  in /usr/bin/clickhouse
6. 0x9bb8bec Poco::Net::HTTPServerConnection::run()  in /usr/bin/clickhouse
7. 0x9bb5677 Poco::Net::TCPServerConnection::start()  in /usr/bin/clickhouse
8. 0x9bb5a6d Poco::Net::TCPServerDispatcher::run()  in /usr/bin/clickhouse
9. 0xbca44ff Poco::PooledThread::run()  in /usr/bin/clickhouse
10. 0xbca15c8 Poco::ThreadImpl::runnableEntry(void*)  in /usr/bin/clickhouse
11. 0xbca2e69 ?  in /usr/bin/clickhouse
12. 0x7dd5 start_thread  in /usr/lib64/libpthread-2.17.so
13. 0xfe02d clone  in /usr/lib64/libc-2.17.so
(version 20.1.2.4 (official build))
на клиенте ошибка была? Похоже просто клиент не дождался и отвалился.
источник