Size: a a a

ClickHouse не тормозит

2020 June 04

AT

Al T in ClickHouse не тормозит
insert into select remote ?
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Хм, ща погуглю, спасибо
источник

AT

Al T in ClickHouse не тормозит
источник

C

Constantine in ClickHouse не тормозит
Ребят есть вопрос: на хосте с1 указан лимит по памяти для пользователя 40гб. На этой же машине существует дистрибьют  таблица. На других хостах в кластере лимит по памяти меньше, 25гб. Когда я делаю запрос через с1 лимит по памяти же не должен меняться на хостах в кластере? Пользователь везде один.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleg A. 🇷🇺
Всем привет!
Столкнулся с простой задачей и хотел бы получить совет от опытных пользователей.
У меня есть 2 инстанса CH.
В этих инстансах есть таблица (DDL совпадает).
Нужно смёржить данные (т.е. перелить из одного инстанса в другой, при этом сохранив данные, которые были).
Как это правильно сделать?
Просто написать скрипт с двумя коннетами, который будет читать, а потом вставлять?
Какие бест практис?
ну делаете на первом alter table xxx freeze
в папке shadow появляются парты, копируете их на второй инстанс, например rsync -rav папка_в_shadow другой_хост:/bkp
перекладываете в папку таблицы detached
делаете владельцем chown clickhouse.clickhouse -R ...
делаете атач партиций / партов
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну делаете на первом alter table xxx freeze
в папке shadow появляются парты, копируете их на второй инстанс, например rsync -rav папка_в_shadow другой_хост:/bkp
перекладываете в папку таблицы detached
делаете владельцем chown clickhouse.clickhouse -R ...
делаете атач партиций / партов
Оу, не, спасибо, но с таким не справлюсь )) не на столько с CH знаком )
пойду с remote экспериментировать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Constantine
Ребят есть вопрос: на хосте с1 указан лимит по памяти для пользователя 40гб. На этой же машине существует дистрибьют  таблица. На других хостах в кластере лимит по памяти меньше, 25гб. Когда я делаю запрос через с1 лимит по памяти же не должен меняться на хостах в кластере? Пользователь везде один.
передается max_memory_usage на шарды
и есть такой тикет https://github.com/ClickHouse/ClickHouse/issues/11292
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Timeout: connect timed out: 255.255.255.255:9000 (version 20.3.10.75 (official build)

Для подключения remote что-то нужно в конфиге активировать?
Я подключаюсь к машине с DataGrip, но через remote достучаться не могу.
Стучусь на tcp порт, который в конфиге указан
источник

n🐈

nikoinlove 🐈 in ClickHouse не тормозит
он же ссш-тунель умеет
источник

C

Constantine in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
передается max_memory_usage на шарды
и есть такой тикет https://github.com/ClickHouse/ClickHouse/issues/11292
спасибо, это совершенно неожиданное поведение
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Заменил на порт http и ушёл думать (жду селект).... иии отвалился опять )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleg A. 🇷🇺
Заменил на порт http и ушёл думать (жду селект).... иии отвалился опять )
так закрыт наверное порт или КХ видят друг друга через локальную сеть и там другие ip, а у вас наружняя
источник

C

Constantine in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
передается max_memory_usage на шарды
и есть такой тикет https://github.com/ClickHouse/ClickHouse/issues/11292
а это особенность или баг такой? я не очень понимаю почему параметры инициатора должны перекрывать параметры на реплике. реплика может быть не сильно похожа на инициатора…
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Constantine
а это особенность или баг такой? я не очень понимаю почему параметры инициатора должны перекрывать параметры на реплике. реплика может быть не сильно похожа на инициатора…
не знаю, так им было надо

наверное чтобы передать ограничения пользователя, потому что по шардам ходит другой пользователь (описанный в remote_servers) и у него свой профиль
источник
2020 June 05

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
так закрыт наверное порт или КХ видят друг друга через локальную сеть и там другие ip, а у вас наружняя
Работаю без локальной сети
в /etc/clickhouse-server/config.xml в параметре tcp_port был указан 9000.
Я попробовал сдвинуть на 9001, перезагрузил сервер.  С независимой машины до порта достучаться получается без проблем. Файрволы выключены.
listen_host слушает все ipv4+ipv6

🤷‍♂️
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleg A. 🇷🇺
Работаю без локальной сети
в /etc/clickhouse-server/config.xml в параметре tcp_port был указан 9000.
Я попробовал сдвинуть на 9001, перезагрузил сервер.  С независимой машины до порта достучаться получается без проблем. Файрволы выключены.
listen_host слушает все ipv4+ipv6

🤷‍♂️
пробую с кх один на второй:9000

900 ------ неправильный порт
curl xxx:900
curl: (7) Failed to connect to xxx port 900: Connection refused

SELECT *
FROM url('http://xxx:900', 'CSV', 'id String')

Received exception from server (version 20.4.4):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: Connection refused.

----------

9000 ------ правильный порт
curl xxx::9000
Port 9000 is for clickhouse-client program. You must use port 8123 for HTTP.

тоже самое из КХ, тестируем порт

SELECT *
FROM url('http://xxx:9000', 'CSV', 'id String')

Received exception from server (version 20.4.4):
Code: 86. DB::Exception: Received from localhost:9000. DB::Exception: Received error from remote server . HTTP status code: 400 Bad Request, body: Port 9000 is for clickhouse-client program.
You must use port 8123 for HTTP.
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
В документации написано, что для remote нужно tcp порт использовать
По 8123 достучаться тоже не получилось.

Дёргать curl на saas инстансе не понял как, возможно - никак )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleg A. 🇷🇺
В документации написано, что для remote нужно tcp порт использовать
По 8123 достучаться тоже не получилось.

Дёргать curl на saas инстансе не понял как, возможно - никак )
але, вы читаете что я пишу?
источник

OA

Oleg A. 🇷🇺 in ClickHouse не тормозит
Да, но не понял причём тут 900 )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я показываю пример как протестировать ip/port с помощью URL фунции
источник