Size: a a a

ClickHouse не тормозит

2020 July 31

АС

Алексей Сенин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
версия КХ ? http/jdbc ? формат инсертов TSV?
ClickHouse client version 20.5.3.27, инсёрты в json, и они прям совсем мадленькие, 10 полей по 20 символов примерно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
кмк это довольно много в мегабайтах, как у сервера с cpu, сильно нагружен? а сеть?
источник

АС

Алексей Сенин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
кмк это довольно много в мегабайтах, как у сервера с cpu, сильно нагружен? а сеть?
в киллобайтах. Сеть - свободна, проц не нагружен, иопсы - есть.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Сенин
ClickHouse client version 20.5.3.27, инсёрты в json, и они прям совсем мадленькие, 10 полей по 20 символов примерно
баг в рассчете используемой памяти, поставьте в config.xml <max_server_memory_usage>0

https://github.com/ClickHouse/ClickHouse/issues/12583
источник

АС

Алексей Сенин... in ClickHouse не тормозит
Чорт... Спасибо, буду откатываться.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Сенин
в киллобайтах. Сеть - свободна, проц не нагружен, иопсы - есть.
сотня int32 в json ? это килобайт, если умножить на 20000 , то
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Сенин
Чорт... Спасибо, буду откатываться.
ну это мелкий баг который был очень давно, но просто использованная память не проверялась
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
а можно как-то clickhouse-client не только —secure выставить, но и сказать, какой сертификат использовать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Tovmasyan
а можно как-то clickhouse-client не только —secure выставить, но и сказать, какой сертификат использовать?
вроде в конфиге клиента описывается, конфиг можно положить в домашний каталог
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
попробую, спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Сенин
в киллобайтах. Сеть - свободна, проц не нагружен, иопсы - есть.
я не у вас спрашивал, мы про кафку и json
источник

АС

Алексей Сенин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я не у вас спрашивал, мы про кафку и json
Прошу прощения, увлёкся
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вроде в конфиге клиента описывается, конфиг можно положить в домашний каталог
ток в доке ни слова как в конфиге это указать =(
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Tovmasyan
ток в доке ни слова как в конфиге это указать =(
| => cat /etc/clickhouse-client/config.xml
<!-- Config set into /etc/clickhouse-client/. It's used if no other configs are found. -->
<config>
   <openSSL>
       <client> <!-- Used for connection to server's secure tcp port -->
           <loadDefaultCAFile>true</loadDefaultCAFile>
           <cacheSessions>true</cacheSessions>
           <disableProtocols>sslv2,sslv3</disableProtocols>
           <preferServerCiphers>true</preferServerCiphers>
           <!-- Use for self-signed: <verificationMode>none</verificationMode> -->
           <invalidCertificateHandler>
               <!-- Use for self-signed: <name>AcceptCertificateHandler</name> -->
               <name>RejectCertificateHandler</name>
           </invalidCertificateHandler>
       </client>
   </openSSL>
   <!--
       It's a custom prompt settings for the clickhouse-client
       Possible macros:
           {host}
           {port}
           {user}
           {database}
           {display_name}
       Terminal colors: https://misc.flogisoft.com/bash/tip_colors_and_formatting
       See also: https://wiki.hackzine.org/development/misc/readline-color-prompt.html
   -->
   <prompt_by_server_display_name>
       <default>{display_name} 🙂 </default>
       <test>{display_name} \x01\e[1;32m\x02:)\x01\e[0m\x02 </test> <!-- if it matched to the substring "test" in the server display name - -->
       <production>{display_name} \x01\e[1;31m\x02:)\x01\e[0m\x02 </production> <!-- if it matched to the substring "production" in the server display name -->
   </prompt_by_server_display_name>
</config>
источник

ST

Sergey Tovmasyan in ClickHouse не тормозит
О, спасибо!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
там и secure и пароли и пользователя и хост можно задать в конфиге
источник

SP

Sergey Polischouck in ClickHouse не тормозит
Добрый день, подскажите пожалуйста испытываем проблему

DB::Exception: Table columns structure in ZooKeeper is different from local table structure: Cannot attach table replica.target_action from metadata file

катили миграции на кластере версия сервера 20.4.5, на части нод мирация не прошла (подозреваем что была заблокирована другими запросами). Долго ждали перезапустили сервер и теперь эта ошибка, ушел в краш луп.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Polischouck
Добрый день, подскажите пожалуйста испытываем проблему

DB::Exception: Table columns structure in ZooKeeper is different from local table structure: Cannot attach table replica.target_action from metadata file

катили миграции на кластере версия сервера 20.4.5, на части нод мирация не прошла (подозреваем что была заблокирована другими запросами). Долго ждали перезапустили сервер и теперь эта ошибка, ушел в краш луп.
а что за миграция? в чем отличия zk и .sql ?
источник

SP

Sergey Polischouck in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а что за миграция? в чем отличия zk и .sql ?
только добавление столбца. в zk есть столбец а локально в metadata нету столбцаа
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Polischouck
только добавление столбца. в zk есть столбец а локально в metadata нету столбцаа
Добавьте локально, поправьте SQL файл
источник