Size: a a a

ClickHouse не тормозит

2021 January 29

AM

Aleksandr Marchenko in ClickHouse не тормозит
Привет всем

при деплое на gcp, как докер контейнер, с указаным env  CLICKHOUSE_DB для создания базы выскакивает ошибка
чистый image - yandex/clickhouse-server:latest, только с EXPOSE'ами

/entrypoint.sh: create database 'mydata'
Code: 210. DB::NetException: Connection refused (localhost:9000)

может кто сталкивался с таким или же знает как решить?
добавление <listen_host>::</listen_host> не помогло
источник

S

Slach in ClickHouse не тормозит
Aleksandr Marchenko
Привет всем

при деплое на gcp, как докер контейнер, с указаным env  CLICKHOUSE_DB для создания базы выскакивает ошибка
чистый image - yandex/clickhouse-server:latest, только с EXPOSE'ами

/entrypoint.sh: create database 'mydata'
Code: 210. DB::NetException: Connection refused (localhost:9000)

может кто сталкивался с таким или же знает как решить?
добавление <listen_host>::</listen_host> не помогло
хм, а /entrypoint.sh это вроде не часть стандартного Docker образа
там /docker-entrypoint.sh вроде
источник

S

Slach in ClickHouse не тормозит
Aleksandr Marchenko
Привет всем

при деплое на gcp, как докер контейнер, с указаным env  CLICKHOUSE_DB для создания базы выскакивает ошибка
чистый image - yandex/clickhouse-server:latest, только с EXPOSE'ами

/entrypoint.sh: create database 'mydata'
Code: 210. DB::NetException: Connection refused (localhost:9000)

может кто сталкивался с таким или же знает как решить?
добавление <listen_host>::</listen_host> не помогло
вы точно уверены что правильный entrypoint используете и image чистый а не кастомизированный?

connection refused говорит о том что сервер не запущен и 9000 порт не слушает

tcp_port в конфиге есть?
источник

AM

Aleksandr Marchenko in ClickHouse не тормозит
вот dockerfile который использую и ничего более

FROM yandex/clickhouse-server:latest
ARG db_name
ENV CLICKHOUSE_DB=$db_name
EXPOSE 8123
EXPOSE 9009
EXPOSE 9000
источник

AM

Aleksandr Marchenko in ClickHouse не тормозит
Slach
хм, а /entrypoint.sh это вроде не часть стандартного Docker образа
там /docker-entrypoint.sh вроде
сейчас так же через /entrypoint.sh, а свои скрипты можно положить в /docker-entrypoint-initdb.d, которые будут выполнены после /entrypoint.sh
источник

S

Slach in ClickHouse не тормозит
Aleksandr Marchenko
вот dockerfile который использую и ничего более

FROM yandex/clickhouse-server:latest
ARG db_name
ENV CLICKHOUSE_DB=$db_name
EXPOSE 8123
EXPOSE 9009
EXPOSE 9000
глядя на
вот этот кусок кода
https://github.com/ClickHouse/ClickHouse/blob/master/docker/server/entrypoint.sh#L106-L131

если у вас  в логах
/entrypoint.sh: create database 'mydata'
Code: 210. DB::NetException: Connection refused (localhost:9000)

тогда у вас как минимум clickhouse-server запустился и его пропинговали на 8123 порту

вы CLICKHOUSE_USER задавали?

возможно localhost как то не ожиданно резолвится
источник

AK

Alexey Krisanov in ClickHouse не тормозит
Всем привет!
Подскажите, пожалуйста, если в Клик подключит внешние словари, например из Постгри и составить MATERIALIZED VIEW как join таблицы и такого словаря, то при изменении словаря вьюха будет обновляться?
источник

S

Slach in ClickHouse не тормозит
Alexey Krisanov
Всем привет!
Подскажите, пожалуйста, если в Клик подключит внешние словари, например из Постгри и составить MATERIALIZED VIEW как join таблицы и такого словаря, то при изменении словаря вьюха будет обновляться?
MATERIALIZED VIEW
это не VIEW =(

это AFTER INSERT TRIGGER
который срабатывает на вставку в таблицы которые задействованы в SELECT части объявления CREATE MATERIALIZED VIEW ..

SELECT будет работать только с БЛОКОМ данных который вставляется а не со всей таблицей
источник

S

Slach in ClickHouse не тормозит
Alexey Krisanov
Всем привет!
Подскажите, пожалуйста, если в Клик подключит внешние словари, например из Постгри и составить MATERIALIZED VIEW как join таблицы и такого словаря, то при изменении словаря вьюха будет обновляться?
сама вьюха "не обновляется"
она фактически трансформирует просто INSERT блоки из одной таблицы как вход для SELECT ... и вставку в ДРУГУЮ таблицу (если TO не объявлено, то вставка идет в .inner таблицу MergeTree которая скрывается за MV)
источник

AK

Alexey Krisanov in ClickHouse не тормозит
Slach
сама вьюха "не обновляется"
она фактически трансформирует просто INSERT блоки из одной таблицы как вход для SELECT ... и вставку в ДРУГУЮ таблицу (если TO не объявлено, то вставка идет в .inner таблицу MergeTree которая скрывается за MV)
а как она с внешними словарями сработает? будет ли видить инсерты в них, которые будут делаться в PG?
источник

S

Slach in ClickHouse не тормозит
Alexey Krisanov
Всем привет!
Подскажите, пожалуйста, если в Клик подключит внешние словари, например из Постгри и составить MATERIALIZED VIEW как join таблицы и такого словаря, то при изменении словаря вьюха будет обновляться?
обычно словарь (если он не кеширующий) обновляется в памяти, по MIN и MAX LIFE TIME
тупо производится выгрузка словаря в память (аллоцируется отдельно)
а потом старый кусок памяти освобождается... это делается атомарно для сторонних query
источник

AB

Andrey Beliy in ClickHouse не тормозит
Всем привет, а где-то можно найти с какой версии какие команды были введены?
источник

S

Slach in ClickHouse не тормозит
Alexey Krisanov
а как она с внешними словарями сработает? будет ли видить инсерты в них, которые будут делаться в PG?
будет, но не в реалтайме, а после того как у вас очередная выгрузка словаря случилась
источник

M

Mishanya in ClickHouse не тормозит
Alexey Krisanov
а как она с внешними словарями сработает? будет ли видить инсерты в них, которые будут делаться в PG?
там есть invalidate_query
источник

AK

Alexey Krisanov in ClickHouse не тормозит
Slach
будет, но не в реалтайме, а после того как у вас очередная выгрузка словаря случилась
но получается словарь весь обновится, а значит и вся вьюха пересчитается или нет?
источник

S

Slach in ClickHouse не тормозит
Andrey Beliy
Всем привет, а где-то можно найти с какой версии какие команды были введены?
простой ответ, нет =( в доке этого ничего не ведется
раньше были на сайте clickhouse.tech старые версии документации... и можно было примерно посмотреть, но их зачем то убрали
источник

S

Slach in ClickHouse не тормозит
Alexey Krisanov
но получается словарь весь обновится, а значит и вся вьюха пересчитается или нет?
вьюха как использует словарь?
CREATE MATERIALIZED VIEW
SELECT ..
FROM таблица словаря?
источник

AB

Andrey Beliy in ClickHouse не тормозит
Slach
простой ответ, нет =( в доке этого ничего не ведется
раньше были на сайте clickhouse.tech старые версии документации... и можно было примерно посмотреть, но их зачем то убрали
Беда, спасибо. А то я уже думал, что как-то не так смотрел
источник

AK

Alexey Krisanov in ClickHouse не тормозит
Slach
вьюха как использует словарь?
CREATE MATERIALIZED VIEW
SELECT ..
FROM таблица словаря?
from обычная таблица КХ t1 JOIN словарь d1
источник

AS

Arseny Snigirev in ClickHouse не тормозит
День добрый. Подскажите, в КХ есть возможность составления рекурсивного запроса?
источник