Size: a a a

ClickHouse не тормозит

2020 August 20

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Shazo
2 шарда по две реплики в каждом. Запись идет в одну из реплик каждого шарда. Чтение либо из обеих реплик, либо из тех что не использубтся для записи. Дистрибьютед таблиц можно сколько угодно и каким угодно составом создавать.
+1
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
2 шарда по две реплики в каждом. Запись идет в одну из реплик каждого шарда. Чтение либо из обеих реплик, либо из тех что не использубтся для записи. Дистрибьютед таблиц можно сколько угодно и каким угодно составом создавать.
но писать в этом случае нужно в конечную реплику а не в дистрибьютед (как собственно и нужно делать)?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Александр Благов
но писать в этом случае нужно в конечную реплику а не в дистрибьютед (как собственно и нужно делать)?
Можно в дистрибьютед, можно сразу в любую из реплик. Прочтите доку
источник

S

Shazo in ClickHouse не тормозит
Александр Благов
но писать в этом случае нужно в конечную реплику а не в дистрибьютед (как собственно и нужно делать)?
До можете и в дистрибьютед, которая будет смотреть на определенные реплики шардов.
источник

АБ

Александр Благов... in ClickHouse не тормозит
всё, я понял, надо дистрибьютед направить туда, куда мне надо и делать их столько сколько мне надо
и можно перед ними ставить что угодно для приёма запросов либо ничего не ставить вовсе
источник

S

Shazo in ClickHouse не тормозит
в вашей схеме как минимум странно для меня использовать разные шарды на запись-чтение и чтение, а не реплики шардов.
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
в вашей схеме как минимум странно для меня использовать разные шарды на запись-чтение и чтение, а не реплики шардов.
но вот например одна реплика умерла, именно та, куда я смотрю по вашей схеме, как читать тогда? а если указать шард то таблица поймёт откуда брать. Или я что-то не понимаю
источник

TL

Tony Larin in ClickHouse не тормозит
подскажите как понять почему ClickHouse падает? Раз в час может перезагружаться.

Из запрещенного MV с join с огромной таблицей и тысячи вставок в нее в секунду.

Версия 20.4.4.18
В error.log ничего очевидного
источник

АБ

Александр Благов... in ClickHouse не тормозит
Дмитрий Бережнов
Можно в дистрибьютед, можно сразу в любую из реплик. Прочтите доку
спасибо, я читал, интересует именно вопрос распределения запросов по нашим требованиям, чтобы никто не пострадал от падения из-за непродуманных селектов, например
источник

S

Shazo in ClickHouse не тормозит
Александр Благов
но вот например одна реплика умерла, именно та, куда я смотрю по вашей схеме, как читать тогда? а если указать шард то таблица поймёт откуда брать. Или я что-то не понимаю
С шардами ещё хуже будет, шард это набор уникальной информации. Когда вы обращаетесь к кластеру с двумя шардами, то запрашивается информация из каждого шарда и складывается. Если вы имеете ввиду независимых кластера два, то другой момент, но тогда как уже сказали, вы придумали свою репликацию. В той схеме что я предпложил, вы можете сделать дистрибьютед, которая смотрит на все реплики. Если одна из них не доступна, то она на время будет исключаться из запросов. Для тех аналитиков что вынесены отдельно - не страшно возможно и подождать поднятия или повторить запрос к другой дистрибьютед.
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
С шардами ещё хуже будет, шард это набор уникальной информации. Когда вы обращаетесь к кластеру с двумя шардами, то запрашивается информация из каждого шарда и складывается. Если вы имеете ввиду независимых кластера два, то другой момент, но тогда как уже сказали, вы придумали свою репликацию. В той схеме что я предпложил, вы можете сделать дистрибьютед, которая смотрит на все реплики. Если одна из них не доступна, то она на время будет исключаться из запросов. Для тех аналитиков что вынесены отдельно - не страшно возможно и подождать поднятия или повторить запрос к другой дистрибьютед.
получается я делаю 2 дистрибьютед таблицы, делаю один шард с 4 репликами (например)
1 дистрибьютед смотрит на 1,2 реплики для записи-чтения приложением
2 дистрибьютед смотрит рид-онли юзером в 3-4 реплики, для чтения
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
С шардами ещё хуже будет, шард это набор уникальной информации. Когда вы обращаетесь к кластеру с двумя шардами, то запрашивается информация из каждого шарда и складывается. Если вы имеете ввиду независимых кластера два, то другой момент, но тогда как уже сказали, вы придумали свою репликацию. В той схеме что я предпложил, вы можете сделать дистрибьютед, которая смотрит на все реплики. Если одна из них не доступна, то она на время будет исключаться из запросов. Для тех аналитиков что вынесены отдельно - не страшно возможно и подождать поднятия или повторить запрос к другой дистрибьютед.
просто не хочется, чтобы аналитик понял, что серв залёг, и он нажал отправить запрос ещё раз и положил нам второй сервер и так все по очереди
источник

S

Shazo in ClickHouse не тормозит
Александр Благов
получается я делаю 2 дистрибьютед таблицы, делаю один шард с 4 репликами (например)
1 дистрибьютед смотрит на 1,2 реплики для записи-чтения приложением
2 дистрибьютед смотрит рид-онли юзером в 3-4 реплики, для чтения
Так звучит лучше.
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
Так звучит лучше.
больше спасибо за помощь и наведение на путь истинный
источник

АБ

Александр Благов... in ClickHouse не тормозит
осталось решить как это за фейловерить
источник

S

Shazo in ClickHouse не тормозит
Александр Благов
просто не хочется, чтобы аналитик понял, что серв залёг, и он нажал отправить запрос ещё раз и положил нам второй сервер и так все по очереди
У меня x3 реплики на каждый шард, пишем в две реплики каждого шарда. Сапорт и тяжелые запросы к 3ей реплики. А сервисная статистика для клиентов уже со всех читать может.
источник

S

Shazo in ClickHouse не тормозит
Но нам не понравилось писать через дистрибьютед, но это было много версий назад.
источник

АБ

Александр Благов... in ClickHouse не тормозит
Shazo
У меня x3 реплики на каждый шард, пишем в две реплики каждого шарда. Сапорт и тяжелые запросы к 3ей реплики. А сервисная статистика для клиентов уже со всех читать может.
а шардов несколько и там разные данные ?
источник

S

Shazo in ClickHouse не тормозит
да, у нас средний объем данных, всё в один жирно будет.
источник

S

Shazo in ClickHouse не тормозит
Если у вас, к примеру 100 Тб данных, то с одним шардом каждый должен будет у себять иметь эти 100 Тб. А потом ещё вдруг рейд умер и переливать их всех)
источник