Size: a a a

ClickHouse не тормозит

2020 June 05

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
да, что-то даже получилось, спасибо))
как-то можно упростить (например промежуточные имена не нравятся: SELECT name FROM <...> col.1 as _name<...>)?
SELECT _name as name, _price as price, avg
FROM (
     SELECT arrayJoin(groupArray((name, price))) as col, col.1 as _name, col.2 as _price, avg(price) as avg
     FROM (
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
              )
        )
WHERE price > avg;
WITH надо писать на том же уровне, он вниз не пробрасывается
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Dj
WITH надо писать на том же уровне, он вниз не пробрасывается
так и не понял, как можно убрать промежуточные имена _name, _price или что-то упростить с with (
если не затруднит, отредактируйте, плз, мой пример
PS строчку SELECT arrayJoin([(3, 'a'), (5, 'b') <...> лучше не трогать, это "мок таблица"
источник

A

Anttoon in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну вот поставил я голый кх, на чистый линукс
он стартовал успешно

я раскоментивал
<https_port>8443</https_port>
<tcp_port_secure>9440</tcp_port_secure>

рестартую, кх не стартует

2020.06.05 13:11:15.381770 [ 151662 ] {} <Error> Application: DB::Exception: Listen [::]:8443 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL context exception: Error loading private key from file /etc/clickhouse-server/server.key: error:02000002:system library::No such file or directory (version 20.4.4.18 (official build))
2020.06.05 13:11:15.381781 [ 151662 ] {} <Information> Application: shutting down

не может быть такого что эти настройки раскоментированы, кх стартовал, и при этом не слушает эти порты
нашел ошибку

<Error> Application: Listen [127.0.0.1]:9440 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL context exception: Error loading private key from file /etc/clickhouse-server/server.key: error:0200000D:system library::Permission denied (version 20.3.8.53 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>


и подскажите пожалуйста как restart  делаете?

я при  sudo service clickhouse-server restart ничего не вижу
источник

A

Anttoon in ClickHouse не тормозит
Anttoon
нашел ошибку

<Error> Application: Listen [127.0.0.1]:9440 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL context exception: Error loading private key from file /etc/clickhouse-server/server.key: error:0200000D:system library::Permission denied (version 20.3.8.53 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>


и подскажите пожалуйста как restart  делаете?

я при  sudo service clickhouse-server restart ничего не вижу
поменял права для сертификатов на clickhouse  и завелось
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anttoon
нашел ошибку

<Error> Application: Listen [127.0.0.1]:9440 failed: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL context exception: Error loading private key from file /etc/clickhouse-server/server.key: error:0200000D:system library::Permission denied (version 20.3.8.53 (official build)). If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host>


и подскажите пожалуйста как restart  делаете?

я при  sudo service clickhouse-server restart ничего не вижу
я ошибку в логе смотрел, это копипаста из лога
источник

A

Anttoon in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я ошибку в логе смотрел, это копипаста из лога
ясно,  в итоге тоже там нашел ошибку
спасибо
источник

AF

Alexander Fedotov in ClickHouse не тормозит
Всем привет! А известно, когда примерно появится поддержка аутентификации в hdfs через Kerberos?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Привет. Начал выполнять запрос, результат которого не влез в оперативную память. После этого, клик сожрал всю оперативку и упал. Каждый раз , когда он перезапускается, он сжирает всю оперативку и сразу падает. Ребут машины не помогает.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Leonid Betelgeuse
Привет. Начал выполнять запрос, результат которого не влез в оперативную память. После этого, клик сожрал всю оперативку и упал. Каждый раз , когда он перезапускается, он сжирает всю оперативку и сразу падает. Ребут машины не помогает.
странное поведение, а что в логах то?
источник

DT

Dmitry Titov in ClickHouse не тормозит
какая версия клика? Сколько вообще оперативной памяти на сервере?
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
так и не понял, как можно убрать промежуточные имена _name, _price или что-то упростить с with (
если не затруднит, отредактируйте, плз, мой пример
PS строчку SELECT arrayJoin([(3, 'a'), (5, 'b') <...> лучше не трогать, это "мок таблица"
я не очень понял вашу проблему если честно, что именно вам мешает в промежуточных именах...
так достаточно эстетично?
SELECT name, price, avgPrice
from (
 SELECT
       groupArray((t.name, t.price)) as col,
       avg(price) as avgPrice
     FROM (-- data simulation
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
          ) as t
)
ARRAY JOIN col, col.1 as name, col.2 as price
WHERE price > avgPrice
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Leonid Betelgeuse
Привет. Начал выполнять запрос, результат которого не влез в оперативную память. После этого, клик сожрал всю оперативку и упал. Каждый раз , когда он перезапускается, он сжирает всю оперативку и сразу падает. Ребут машины не помогает.
а что должно быть? КХ жрет всю память что разрешили, ООМ его убивает
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а что должно быть? КХ жрет всю память что разрешили, ООМ его убивает
Понимаю, не ожидал что после рестарта он продолжит такое поведение.
Версия - 20.1.5.26
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Leonid Betelgeuse
Понимаю, не ожидал что после рестарта он продолжит такое поведение.
Версия - 20.1.5.26
в каком продолжит? сам запрос не запускается
источник

DT

Dmitry Titov in ClickHouse не тормозит
А это точно запрос, а не мутация, мердж?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Тут не могу подсказать. Запрос был инсерт с селектом из таблицы, объём которой больше свободной оперативки.
источник

DT

Dmitry Titov in ClickHouse не тормозит
но ты говоришь, что ты рестартишь кликхаус, не запуская повторно запрос и он сам по себе падает?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Dmitry Titov
но ты говоришь, что ты рестартишь кликхаус, не запуская повторно запрос и он сам по себе падает?
да
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Dj
я не очень понял вашу проблему если честно, что именно вам мешает в промежуточных именах...
так достаточно эстетично?
SELECT name, price, avgPrice
from (
 SELECT
       groupArray((t.name, t.price)) as col,
       avg(price) as avgPrice
     FROM (-- data simulation
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
          ) as t
)
ARRAY JOIN col, col.1 as name, col.2 as price
WHERE price > avgPrice
почти ) избавился от промежуточных имен, теперь бы не хотелось зависеть от порядка упаковки значений (name, price) при распаковке col.1 as name, col.2 as price, но динамические имена колонок просто так не даются ((
В боевых условиях полей не 2 )
SELECT col.1 as name, col.2 as price, avg
FROM (
     SELECT arrayJoin(groupArray((name, price))) as col, avg(price) as avg
     FROM (
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
             )
        )
WHERE price > avg;
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
почти ) избавился от промежуточных имен, теперь бы не хотелось зависеть от порядка упаковки значений (name, price) при распаковке col.1 as name, col.2 as price, но динамические имена колонок просто так не даются ((
В боевых условиях полей не 2 )
SELECT col.1 as name, col.2 as price, avg
FROM (
     SELECT arrayJoin(groupArray((name, price))) as col, avg(price) as avg
     FROM (
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
             )
        )
WHERE price > avg;
>(name, price) при распаковке col.1 as name, col.2 as price, но динамические имена колонок просто так не даются

не получится, туплы адресуются только по номеру в тупле, ассоциативной адресации нет.

но если честно проблема не ясна. Вы будете генерировать кодом или писать руками?
источник