DS
Правда, пытаюсь понять почему? При запросе select .... from distgributed.table разве не произойдет распределение на 2-е ноды ?
Size: a a a
2021 February 22
ЕА
хотя может шардирование не для распределения нагрузки юзается, а например для разделения данных по странам, но это кажется тоже спорным моментом
ЕА
Правда, пытаюсь понять почему? При запросе select .... from distgributed.table разве не произойдет распределение на 2-е ноды ?
селекты распределяются да, инсерты не распределяются, то есть реплицирование
ЕА
то что запишешь в хост1 будет автоматически записано в хост2 и наоборот, а если бы репликации не было, то нагрузка была бы равномерно распредлена, но тогда бы не было резервирования
DS
Insert'ы можно делать и самостоятельно в кажый shard. Так а по селектам все же получается есть профит?
ЕА
Insert'ы можно делать и самостоятельно в кажый shard. Так а по селектам все же получается есть профит?
по селектам получается точно такой же профит как если бы не было шардов, если балансировщик есть например перед кх
Инсерты ты можешь самостоятельно делать в каждый шард, но он все равно будет среплецирован в другой хост, так как настроена репликация и трафик останется по сути таким же
Инсерты ты можешь самостоятельно делать в каждый шард, но он все равно будет среплецирован в другой хост, так как настроена репликация и трафик останется по сути таким же
ТИ
привет)
помогите, пожалуйста, с запросом
у меня есть таблица вида:
id1 - type1- datetime1
id1 - type2 - datetime2
id1 - type3 - datetime3.
я хочу получить в результате:
id1 - datetime1 - datetime2 - datetime3
помогите, пожалуйста, с запросом
у меня есть таблица вида:
id1 - type1- datetime1
id1 - type2 - datetime2
id1 - type3 - datetime3.
я хочу получить в результате:
id1 - datetime1 - datetime2 - datetime3
DS
т.е. по кол-ву данных да, выигрыша нет. Но по работе - вычислительные ресурсы же по идее распределяться лучше. А если масштабировать дальше, то получится своего рода "кольцо".
DS
по селектам получается точно такой же профит как если бы не было шардов, если балансировщик есть например перед кх
Инсерты ты можешь самостоятельно делать в каждый шард, но он все равно будет среплецирован в другой хост, так как настроена репликация и трафик останется по сути таким же
Инсерты ты можешь самостоятельно делать в каждый шард, но он все равно будет среплецирован в другой хост, так как настроена репликация и трафик останется по сути таким же
А можно поподробнее про балансировщик. Имеется ввиду, что часть запросов отправит на одну ноду, часть на другую. Но а что с тяжелыми вычислениями? 2 проца - мощнее же, чем один .
D
Правда, пытаюсь понять почему? При запросе select .... from distgributed.table разве не произойдет распределение на 2-е ноды ?
сложно будет управлять разделением ресурсов. надо будет сильно подпиливать.
а если не сделать грамотно, можно получить кучу тормозов и проблем
а если не сделать грамотно, можно получить кучу тормозов и проблем
ЕА
А можно поподробнее про балансировщик. Имеется ввиду, что часть запросов отправит на одну ноду, часть на другую. Но а что с тяжелыми вычислениями? 2 проца - мощнее же, чем один .
ну если говорит про такую схему, то через балансировку наверное не выйдет, хотя может и есть какие-то решения - не знаю
ЕА
не знаю таких запросов которые съедают все ресурсы ноды
DS
сложно будет управлять разделением ресурсов. надо будет сильно подпиливать.
а если не сделать грамотно, можно получить кучу тормозов и проблем
а если не сделать грамотно, можно получить кучу тормозов и проблем
А можно чуть-чуть раскрыть тему, т.е. Вы имеете ввиду квоты или же балансировщик по распределению запросов?
ЕА
А можно чуть-чуть раскрыть тему, т.е. Вы имеете ввиду квоты или же балансировщик по распределению запросов?
имею ввиду 2ое
DS
@eperesada @dj_mixer @mikhailberg Спасибо за информацию. Я правильно понял, что данная схема не имеет место быть в долгосрочной перспективе, потому что априори, если всех напрять в distributed таблицы, хоть и в разных нодах, то это хуже по производительности, чем просто распределять нагрузку через балансировщик? (https://clickhouse.tech/docs/ru/interfaces/third-party/proxy/)
D
А можно чуть-чуть раскрыть тему, т.е. Вы имеете ввиду квоты или же балансировщик по распределению запросов?
запрос будет потреблять max_threads.
если у вас 16 ядер, как вы собираетесь выставлять на оба шарда?
если вы их ограничите, получите такую же половинчатую производительность
если у вас 16 ядер, как вы собираетесь выставлять на оба шарда?
если вы их ограничите, получите такую же половинчатую производительность
D
@eperesada @dj_mixer @mikhailberg Спасибо за информацию. Я правильно понял, что данная схема не имеет место быть в долгосрочной перспективе, потому что априори, если всех напрять в distributed таблицы, хоть и в разных нодах, то это хуже по производительности, чем просто распределять нагрузку через балансировщик? (https://clickhouse.tech/docs/ru/interfaces/third-party/proxy/)
тут 2 разные темы:
- делать ли circular replication ? - если вы не на ты с КХ, не надо
- как складывать в кластер - через дистрибьютед или руками? - зависит от объема и гибкости загрузчиков.
- делать ли circular replication ? - если вы не на ты с КХ, не надо
- как складывать в кластер - через дистрибьютед или руками? - зависит от объема и гибкости загрузчиков.
S
привет)
помогите, пожалуйста, с запросом
у меня есть таблица вида:
id1 - type1- datetime1
id1 - type2 - datetime2
id1 - type3 - datetime3.
я хочу получить в результате:
id1 - datetime1 - datetime2 - datetime3
помогите, пожалуйста, с запросом
у меня есть таблица вида:
id1 - type1- datetime1
id1 - type2 - datetime2
id1 - type3 - datetime3.
я хочу получить в результате:
id1 - datetime1 - datetime2 - datetime3
SELECT id, dt[1] AS datetime1, dt[2] AS datetime2, dt[3] AS datetime3 FROM (
SELECT id, groupArray(datetime) AS dt FROM table GROUP BY id
)
но это путь в никуда
хотите транспонировать таблицу делайте это в Excel или куда вы там из clickhouse данные выгружаете
есть подозрение что ваша задача решается другими способами
K
Довольно интересный кейс использования кликхауса у Убера. https://eng.uber.com/logging/
Только совершенно не понятно как они использовали merge() и как работает функция. В документации почти ноль. Где можно почитать подробнее?
Только совершенно не понятно как они использовали merge() и как работает функция. В документации почти ноль. Где можно почитать подробнее?
Пришёл в этот чат смотреть, что про это напишут
S
Пришёл в этот чат смотреть, что про это напишут
а что конкретно вы хотите чтобы про это написали? ;)
Решение нормальное, Uber его на своих данных вполне успешно внедрил
Решение нормальное, Uber его на своих данных вполне успешно внедрил