Size: a a a

ClickHouse не тормозит

2021 February 26

IK

Ilshat Karazbaev in ClickHouse не тормозит
добрый день, пишу keepalived скрипт проверки, можно ли назначать мастера конкретную реплику и поднимать там дополннительный ip
подготовил два скрипта SQL и есть сомнения, какой использовать и дорабатывать
# вроде хорошо, но есть сомнения по estimated_recovery_time и errors_count. 
# А что если на легитимнном мастере будет недоступна реплика и скрипт упадет?
select count(*) from clusters where is_local = '1' and errors_count = '0' and estimated_recovery_time = '0';

#ниже выберем одну из "главных" таблиц для проверки и будем чекать из зукипера
select value from zookeeper where path = '/clickhouse/PROD/tables/shard_name/database_name.table_name/leader_election'
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
подскажете, какой вариант будет более "верным" из скриптов выше ^^^?
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
вариант с зукипером мне нравится больше, в то время как первый скрипт выглядит проще
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
как вызвать тишину в чатике с 4000 участниками почти на час) ^^
источник

M

Mishanya in ClickHouse не тормозит
разве кх сам мастера нового не назначит ? зачем вообще вот это вот всё ?
да и вообще там мультимастер
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
Mishanya
разве кх сам мастера нового не назначит ? зачем вообще вот это вот всё ?
да и вообще там мультимастер
мои соображения: кликхаус мультимастер, клиентам мы отдаем айпи адреса для подключения и он обычно один. Если нода зафейлится, мы можем переключить нагрузку на соседнюю. Можно, наверное, отдавать массив из кликхаус адресов мастеров и пусть клиенты решают сами куда ходить, но я пока за первый вариант
источник

M

Mishanya in ClickHouse не тормозит
поставьте поверх кластера кх самый простой нгинкс с прокси и все
источник

R

Ruslan in ClickHouse не тормозит
чем плох вариант поставить рядом с каждым клиентом по haproxy?
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
Ruslan
чем плох вариант поставить рядом с каждым клиентом по haproxy?
для хапрокси тоже нужно писать проверялку
источник

R

Ruslan in ClickHouse не тормозит
у кликхауса есть "проверялка" option httpchk GET /ping HTTP/1.1
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
а пинг туда, где все таблицы перешли в ридонли тоже ответит 200?
источник

M

Mishanya in ClickHouse не тормозит
чето я не понимаю как вам “проверялка” поможет
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ilshat Karazbaev
для хапрокси тоже нужно писать проверялку
Дык все жеж уже украдено до нас :)
https://github.com/Vertamedia/chproxy
источник

IK

Ilshat Karazbaev in ClickHouse не тормозит
о, спасибо, изучу
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Я через енту штуку аналитиков на кластер кидаю, чтобы они могли юзать только половину нод
источник

R

Ruslan in ClickHouse не тормозит
Yuri Velgosha
Я через енту штуку аналитиков на кластер кидаю, чтобы они могли юзать только половину нод
Ваш кейс только читающие запросы через эту балалайку пускать? Инсетры напрямую? или есть какой-то nginx/haproxy?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ну инсерты идут через нативный порт, а эта жеж для http-запросов штукенция.
источник

YV

Yuri Velgosha in ClickHouse не тормозит
У принципе для вставок самый дешманский способ -DNS round robin :)
источник

R

Ruslan in ClickHouse не тормозит
нативный порт у вас без ssl? просто я поставил перед кликхаусом tcp прокси для терминации ssl. сам кликхаус не перечитывает сертификат когда они обновляются, приходилось его перезапускать раз в три месяца
источник

R

Ruslan in ClickHouse не тормозит
(или это исправлено?)
источник