Size: a a a

ClickHouse не тормозит

2020 August 25

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в смысле graphite rollup ?

а сколько места свободно на диске и какой эксепшин ?
места свободного мало( да graphite rollup Insufficient available disk space, required 91.45 GB. Cannot select parts for optimization.
источник

НА

Наталья Александровн... in ClickHouse не тормозит
места всего 40 свободного
источник

НА

Наталья Александровн... in ClickHouse не тормозит
это прям печаль из печали
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Наталья Александровна
места свободного мало( да graphite rollup Insufficient available disk space, required 91.45 GB. Cannot select parts for optimization.
в смысле graphite rollup ? в смысле graphite rollup ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в реальности что будет, 91.45 GB превратятся во что?
источник

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в смысле graphite rollup ? в смысле graphite rollup ?
в смысле есть определенный план оптимизации домустим старше недели раз в 5 минут берем метрики, Insufficient available disk space, required 91.45 GB. Cannot select parts for optimization. это ошибка при попытки оптимайз
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Наталья Александровна
в смысле есть определенный план оптимизации домустим старше недели раз в 5 минут берем метрики, Insufficient available disk space, required 91.45 GB. Cannot select parts for optimization. это ошибка при попытки оптимайз
вы о чем? че за план такой? каким образом? какой движек у таблицы?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
для старых данных делается rollup при мерже engine=graphiteMT или что?
источник

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы о чем? че за план такой? каким образом? какой движек у таблицы?
<graphite_rollup>
       <default>
           <function>max</function>
           <retention>
               <age>0</age>
               <precision>30</precision>
           </retention>
           <retention>
               <age>172800</age>
               <precision>300</precision>
           </retention>
           <retention>
               <age>3024000</age>
               <precision>600</precision>
           </retention>
       </default>
   </graphite_rollup>
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
т.е. graphiteMT
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Наталья Александровна
<graphite_rollup>
       <default>
           <function>max</function>
           <retention>
               <age>0</age>
               <precision>30</precision>
           </retention>
           <retention>
               <age>172800</age>
               <precision>300</precision>
           </retention>
           <retention>
               <age>3024000</age>
               <precision>600</precision>
           </retention>
       </default>
   </graphite_rollup>
91.45 GB во что превратятся примерно?
источник

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
91.45 GB во что превратятся примерно?
в 5-7 Gb
источник

K

Kid in ClickHouse не тормозит
Повторно. Использую в питоне clickhouse_driver. В коде питона разворачиваю докер, в него ставлю КХ сервер, и в него подключаюсь clickhouse_driver и выполняю запросы. Локально все работает, то есть разворачивается докер, создается подключение и все работает.
Но в gitlab все тоже самое не работает. При подключении(выполнении запросов) получаю ошибку 210 Connection refused. С чем может быть связяано?
Добавлял в запуск контейнера bridge -  все также.
В логах ошибок пишет такое:
ловлю такую ошибку

2020.08.25 07:59:00.744926 [ 1 ] {} <Error> Application: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0,
e.displayText() = DNS error: EAI: -9 (version 20.1.3.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4,
then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> .
Example for disabled IPv4: <listen_host>::</listen_host>
источник

НА

Наталья Александровн... in ClickHouse не тормозит
и там чуток другая схема, 91 требуется если занято 45 гигов
источник

K

Kid in ClickHouse не тормозит
расскомментирование <listen_host>::</listen_host> не помогает(
источник

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
91.45 GB во что превратятся примерно?
на счет движка, дефолтный
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Наталья Александровна
на счет движка, дефолтный
чего? так не бывает

show create table покажите
источник

НА

Наталья Александровн... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
чего? так не бывает

show create table покажите
ENGINE = GraphiteMergeTree(Date, (Path, Time), 8192, 'graphite_rollup')
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kid
Повторно. Использую в питоне clickhouse_driver. В коде питона разворачиваю докер, в него ставлю КХ сервер, и в него подключаюсь clickhouse_driver и выполняю запросы. Локально все работает, то есть разворачивается докер, создается подключение и все работает.
Но в gitlab все тоже самое не работает. При подключении(выполнении запросов) получаю ошибку 210 Connection refused. С чем может быть связяано?
Добавлял в запуск контейнера bridge -  все также.
В логах ошибок пишет такое:
ловлю такую ошибку

2020.08.25 07:59:00.744926 [ 1 ] {} <Error> Application: Listen [::]:8123 failed: Poco::Exception. Code: 1000, e.code() = 0,
e.displayText() = DNS error: EAI: -9 (version 20.1.3.7 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4,
then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> .
Example for disabled IPv4: <listen_host>::</listen_host>
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Наталья Александровна
ENGINE = GraphiteMergeTree(Date, (Path, Time), 8192, 'graphite_rollup')
ну вот. Теперь все ясно.

вот такая команда

ALTER TABLE foo
   MODIFY SETTING max_bytes_to_merge_at_min_space_in_pool = 107374182400;

разрешит таблице foo мержить  парты до 100ГБ не глядя на свободное место на диске, если результирующий парт не влезет, мерж просто отменится.
источник