В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

5038 membersпожаловаться на группу
2021 March 21

A

Adilkhan in ClickHouse не тормозит
Всем привет! Пытался подключиться к clickhouse используя sqlalchemy-clickhouse, не получилось) Может у кого-то была такая ошибка. Вернул exception связанную с McAfee, но админ говорит что на сервере нет McAfee.
источник
19:56пожаловаться#1

A

Adilkhan in ClickHouse не тормозит
python /home/user/Desktop/test/test.py
Traceback (most recent call last):
 File "/home/user/Desktop/test/test.py", line 3, in <module>
   print(engine.table_names())
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 2316, in table_names
   with self._optional_conn_ctx_manager(connection) as conn:
 File "/opt/anaconda3/lib/python3.8/contextlib.py", line 113, in enter
   return next(self.gen)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 2086, in _optional_conn_ctx_manager
   with self._contextual_connect() as conn:
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 2302, in _contextual_connect
   self._wrap_pool_connect(self.pool.connect, None),
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 2336, in _wrap_pool_connect
   return fn()
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 364, in connect
   return _ConnectionFairy._checkout(self)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 778, in _checkout
   fairy = _ConnectionRecord.checkout(pool)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 495, in checkout
   rec = pool._do_get()
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/impl.py", line 140, in _do_get
   self._dec_overflow()
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/util/langhelpers.py", line 68, in exit
   compat.raise_(
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 182, in raise_
   raise exception
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/impl.py", line 137, in _do_get
   return self._create_connection()
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 309, in _create_connection
   return _ConnectionRecord(self)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 440, in init
   self.__connect(first_connect_check=True)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 661, in connect
   pool.logger.debug("Error on connect(): %s", e)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/util/langhelpers.py", line 68, in exit
   compat.raise_(
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 182, in raise_
   raise exception
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 656, in connect
   connection = pool._invoke_creator(self)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/strategies.py", line 114, in connect
   return dialect.connect(*cargs, cparams)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 508, in connect
   return self.dbapi.connect(*cargs, cparams)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy_clickhouse/connector.py", line 111, in connect
   return Connection(*args, **kwargs)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy_clickhouse/connector.py", line 118, in init
   super(Connection, self).__init__(db_name, db_url, username, password, readonly)
 File "/opt/anaconda3/lib/python3.8/site-packages/infi/clickhouse_orm/database.py", line 95, in init
   self.db_exists = self._is_existing_database()
 File "/opt/anaconda3/lib/python3.8/site-packages/infi/clickhouse_orm/database.py", line 370, in _is_existing_database
   r = self._send("SELECT count() FROM system.databases WHERE name = '%s'" % self.db_name)
 File "/opt/anaconda3/lib/python3.8/site-packages/sqlalchemy_clickhouse/connector.py", line 102, in _send
   raise Exception(r.text)
Exception: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html>
<!-- FileName: index.html
    Language: [en]
-->
<!--Head-->
<head>
 <meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
 <meta http-equiv="X-UA-Compatib
источник
19:56пожаловаться#2

A

Adilkhan in ClickHouse не тормозит
le" content="IE=7" />
 <title>McAfee Web Gateway - Notification</title>
 <script src="/mwg-internal/de5fs23hu73ds/files/javascript/sw.js" type="text/javascript" ></script>
 <link rel="stylesheet" href="/mwg-internal/de5fs23hu73ds/files/default/stylesheet.css" />
</head>
<!--/Head-->
<!--Body-->
<body onload="swOnLoad();">
 <table class='bodyTable'>
   <tr>
     <td class='bodyData' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_body.gif'>
<!--Logo-->
<table class='logoTable'>
 <tr>
   <td class='logoData'>
     <a href='http:mcafee.com'>
       <img src='/mwg-internal/de5fs23hu73ds/files/default/img/logo_mwg.png'></a>
   </td>
 </tr>
</table>
<!--/Logo-->
<!--Contents-->
<!-- FileName: cannotconnect.html
    Language: [en]
-->
<!--Title-->
<table class='titleTable' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_navbar.jpg'>
 <tr>
   <td class='titleData'>
     Cannot Connect
   </td>
 </tr>
</table>
<!--/Title-->

<!--Content-->
<table class="contentTable">
 <tr>
   <td class="contentData">
     The proxy could not connect to the destination in time.
   </td>
 </tr>
</table>
<!--/Content-->

<!--Info-->
<table class="infoTable">
 <tr>
   <td class="infoData">
     <b>URL: </b><script type="text/javascript">break_line("http://localhost:8123/?user=username&amp;password=password");</script><br />
   </td>
 </tr>
</table>
<!--/Info-->

<!--/Contents-->
<!--Policy-->
<table class='policyTable'>
 <tr>
   <td class='policyHeading'>
     <hr>
     Company Acceptable Use Policy
   </td>
 </tr>
 <tr>
   <td class='policyData'>
     This is an optional acceptable use disclaimer that appears on every page. You may change the wording or remove this section entirely in index.html.
   </td>
 </tr>
</table>
<!--/Policy-->
<!--Foot-->
<table class='footTable'>
 <tr>
   <td class='helpDeskData' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_navbar.jpg'>
     Ð”ля помощи, пожалуйста, свяжитесь с СТО по телефону
   </td>
 </tr>
 <tr>
   <td class='footData'>
     generated <span id="time">2021-03-21 22:31:37</span> by McAfee Web Gateway
     <br />
     python-requests/2.24.0
   </td>
 </tr>
</table>
<!--/Foot-->
     </td>
   </tr>
 </table>
</body>
<!--/Body-->
</html>
источник
19:57пожаловаться#3

pk

papa karlo in ClickHouse не тормозит
на сервере нет, а на клиенте?
источник
20:00пожаловаться#4

A

Adilkhan in ClickHouse не тормозит
papa karlo
на сервере нет, а на клиенте?
На одном сервере тестил, там ip localhost
источник
20:01пожаловаться#5

pk

papa karlo in ClickHouse не тормозит
и что на этом localhost отвечает на 8123?
источник
20:04пожаловаться#6

A

Adilkhan in ClickHouse не тормозит
Adilkhan
le" content="IE=7" />
 <title>McAfee Web Gateway - Notification</title>
 <script src="/mwg-internal/de5fs23hu73ds/files/javascript/sw.js" type="text/javascript" ></script>
 <link rel="stylesheet" href="/mwg-internal/de5fs23hu73ds/files/default/stylesheet.css" />
</head>
<!--/Head-->
<!--Body-->
<body onload="swOnLoad();">
 <table class='bodyTable'>
   <tr>
     <td class='bodyData' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_body.gif'>
<!--Logo-->
<table class='logoTable'>
 <tr>
   <td class='logoData'>
     <a href='http:mcafee.com'>
       <img src='/mwg-internal/de5fs23hu73ds/files/default/img/logo_mwg.png'></a>
   </td>
 </tr>
</table>
<!--/Logo-->
<!--Contents-->
<!-- FileName: cannotconnect.html
    Language: [en]
-->
<!--Title-->
<table class='titleTable' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_navbar.jpg'>
 <tr>
   <td class='titleData'>
     Cannot Connect
   </td>
 </tr>
</table>
<!--/Title-->

<!--Content-->
<table class="contentTable">
 <tr>
   <td class="contentData">
     The proxy could not connect to the destination in time.
   </td>
 </tr>
</table>
<!--/Content-->

<!--Info-->
<table class="infoTable">
 <tr>
   <td class="infoData">
     <b>URL: </b><script type="text/javascript">break_line("http://localhost:8123/?user=username&amp;password=password");</script><br />
   </td>
 </tr>
</table>
<!--/Info-->

<!--/Contents-->
<!--Policy-->
<table class='policyTable'>
 <tr>
   <td class='policyHeading'>
     <hr>
     Company Acceptable Use Policy
   </td>
 </tr>
 <tr>
   <td class='policyData'>
     This is an optional acceptable use disclaimer that appears on every page. You may change the wording or remove this section entirely in index.html.
   </td>
 </tr>
</table>
<!--/Policy-->
<!--Foot-->
<table class='footTable'>
 <tr>
   <td class='helpDeskData' background='/mwg-internal/de5fs23hu73ds/files/default/img/bg_navbar.jpg'>
     Ð”ля помощи, пожалуйста, свяжитесь с СТО по телефону
   </td>
 </tr>
 <tr>
   <td class='footData'>
     generated <span id="time">2021-03-21 22:31:37</span> by McAfee Web Gateway
     <br />
     python-requests/2.24.0
   </td>
 </tr>
</table>
<!--/Foot-->
     </td>
   </tr>
 </table>
</body>
<!--/Body-->
</html>
Вот это) А clickhouse-client-ом я смог подключиться к базе
источник
20:07пожаловаться#7

pk

papa karlo in ClickHouse не тормозит
clickhouse-client идет в 9000
источник
20:08пожаловаться#8

A

Adilkhan in ClickHouse не тормозит
papa karlo
clickhouse-client идет в 9000
На 9000 та же самая ошибка
источник
20:10пожаловаться#9

pk

papa karlo in ClickHouse не тормозит
но при этом clickhouse-client подсоединяется и работает
источник
20:11пожаловаться#10

A

Adilkhan in ClickHouse не тормозит
papa karlo
но при этом clickhouse-client подсоединяется и работает
Да
источник
20:13пожаловаться#11

pk

papa karlo in ClickHouse не тормозит
а что  curl "http://localhost:8123/?query=select+1" выдает
источник
20:14пожаловаться#12

A

Adilkhan in ClickHouse не тормозит
papa karlo
а что  curl "http://localhost:8123/?query=select+1" выдает
Та же ошибка)
источник
20:16пожаловаться#13

pk

papa karlo in ClickHouse не тормозит
ну смотрите, кто-то у вас на сервере заставляет ваши запросы идти в этот ваш McAfee Web Gateway, что б это не значило, который потом видимо не может отправить запрос обратно к вам на localhost:8123, возможно потому что у McAfee на его хосте ничего такого нет. как вы этого добились я не знаю, но возможно кто-то из вас и вашего админа мог бы и знать. т.к. ошибка есть без всякого sqlalchemy, значит он не при чем. выдайте запрос c -v тем людям, которые понимают что у вас в сети происходит, и поищите что с этим делать.
источник
20:23пожаловаться#14

A

Adilkhan in ClickHouse не тормозит
papa karlo
ну смотрите, кто-то у вас на сервере заставляет ваши запросы идти в этот ваш McAfee Web Gateway, что б это не значило, который потом видимо не может отправить запрос обратно к вам на localhost:8123, возможно потому что у McAfee на его хосте ничего такого нет. как вы этого добились я не знаю, но возможно кто-то из вас и вашего админа мог бы и знать. т.к. ошибка есть без всякого sqlalchemy, значит он не при чем. выдайте запрос c -v тем людям, которые понимают что у вас в сети происходит, и поищите что с этим делать.
Понял, спасибо большое) Передам админам ОС и ИБшникам)
источник
20:24пожаловаться#15

pk

papa karlo in ClickHouse не тормозит
может достаточно вместо localhost взять fqdn, как-то же ваши внутренние ресурсы работают, может что-то еще нужно.
источник
20:25пожаловаться#16

MM

Michael M in ClickHouse не тормозит
Привет.
Не пойму, почему у меня у таблицы нет отдельных файлов для каждого столбца, а всё хранится в одном файле data.bin ?

ls
checksums.txt  columns.txt  count.txt  data.bin  data.mrk3  default_compression_codec.txt  primary.idx

cat columns.txt
columns format version: 1
8 columns:
`ID` UInt64
`UserID` UInt64
`GameID` UInt64
`Url` String
`Description` String
`Ip4` IPv4
`Ip6` IPv6
`CreatedTime` DateTime
источник
20:36пожаловаться#17

MM

Michael M in ClickHouse не тормозит
это какая-то оптимизация для небольших таблиц?
источник
20:37пожаловаться#18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Michael M
это какая-то оптимизация для небольших таблиц?
Это compact парты для маленьких инсертов, чтобы файлов было мало.
источник
20:38пожаловаться#19

MM

Michael M in ClickHouse не тормозит
Спасибо!
источник
20:39пожаловаться#20