Size: a a a

ClickHouse не тормозит

2021 March 03

M

Mishanya in ClickHouse не тормозит
Maxim Mezhekov
Привет, подскажите, не совсем очевидно в документации написано, есть большой кластер из 12 шардов, в каждом шарде по 2 реплики, есть табличка которая реплицируется, в нее нужно добавить коллонку, как это корректно сделать? сделать ALTER на каждой тачке? или  в одной тачке каждого шарда или может через distrubuted таблицу которая на нее ссылается?
Сделать альтер on cluster и пересоздать distributed
источник

IE

Ivan EKbfh in ClickHouse не тормозит
мне экспортер милее, спасибо
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Mishanya
Сделать альтер on cluster и пересоздать distributed
спасибо, за ответ
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ivan EKbfh
Привет!
Ребята, вы забрали https://github.com/ClickHouse/clickhouse_exporter у перконы, те у Егора.
А докер-образа-то планируется собирать? Помочь может чем?
Скорее всего можно, но нужно наверное это у @BloodJazMan спрашивать.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Al. P.
Всем привет. У нас возник определенный юз-кейс и мы думаем, подходит ли Кликхаус для такого (вроде бы да). Надо хранить 100 млрд строк (ок), делать большие сканы (ок), и выгружать большие результаты сканов, допустим сотни миллионов записей. Есть ли какие-нибудь подводные камни с последним?
а чем не подходит S3 ?

КХ про аггрегацию, а не про хранение / вытаскивание
источник

AP

Al. P. in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а чем не подходит S3 ?

КХ про аггрегацию, а не про хранение / вытаскивание
Речь идет о сканах (фильтрации), которая порождает большие результаты.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Maxim Mezhekov
Привет, подскажите, не совсем очевидно в документации написано, есть большой кластер из 12 шардов, в каждом шарде по 2 реплики, есть табличка которая реплицируется, в нее нужно добавить коллонку, как это корректно сделать? сделать ALTER на каждой тачке? или  в одной тачке каждого шарда или может через distrubuted таблицу которая на нее ссылается?
сам alter реплицируется, поэтому нужно выполнить в каждом шарде но на одной реплике.
on cluster это умеет сам
дистрибьютид таблицу надо отдельно, на каждом сервер, on cluster тоже это понимает
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Al. P.
Речь идет о сканах (фильтрации), которая порождает большие результаты.
hdfs / hadoop ?
источник

AP

Al. P. in ClickHouse не тормозит
Да, это один из вариантов. Но наверное эффективней это будет хранить в КХ.
источник

AP

Al. P. in ClickHouse не тормозит
Al. P.
Да, это один из вариантов. Но наверное эффективней это будет хранить в КХ.
Тут много нюансов, почему так или не этак, долго рассказывать. Просто интересно, может ли хранить КХ промежуточные результаты допустим в сотни мегабайт и отдавать их по сети. Может тут есть какой-нибудь подводный камень.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Al. P.
Да, это один из вариантов. Но наверное эффективней это будет хранить в КХ.
это сложный вопрос. КХ мержит. И все время насилует диск и cpu мержами, не имеет встроенного решардинга ....
т.е. я плюсов КХ не вижу, хотя самый фанбой из всех фанбоев
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Al. P.
Тут много нюансов, почему так или не этак, долго рассказывать. Просто интересно, может ли хранить КХ промежуточные результаты допустим в сотни мегабайт и отдавать их по сети. Может тут есть какой-нибудь подводный камень.
может, просто еще можно гвозди забивать телескопом
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
это сложный вопрос. КХ мержит. И все время насилует диск и cpu мержами, не имеет встроенного решардинга ....
т.е. я плюсов КХ не вижу, хотя самый фанбой из всех фанбоев
Можно подумать хадуп никого не насилует... ;)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Можно подумать хадуп никого не насилует... ;)
ну там нет мержей, зачем ему
источник

AP

Al. P. in ClickHouse не тормозит
Кстати, раз заговорили про С3, еще один вопрос касательно data tiering. Насколько я помню сейчас КХ поддерживает выгрузку данных по ТТЛ на другое устройство, но пока речь идет о posix block device. Планируется поддержка чего-то для объектного хранилища? Т.е. put/get c возможность подложить допустим скрипт на пут и гет.
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
сам alter реплицируется, поэтому нужно выполнить в каждом шарде но на одной реплике.
on cluster это умеет сам
дистрибьютид таблицу надо отдельно, на каждом сервер, on cluster тоже это понимает
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
В КХ вы кладете 100МБ, он их еще 100 раз пережует и перезапишет, пока в итоге не сольется в 150ГБ.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Al. P.
Кстати, раз заговорили про С3, еще один вопрос касательно data tiering. Насколько я помню сейчас КХ поддерживает выгрузку данных по ТТЛ на другое устройство, но пока речь идет о posix block device. Планируется поддержка чего-то для объектного хранилища? Т.е. put/get c возможность подложить допустим скрипт на пут и гет.
Ну вообще есть экспериментальная поддержка s3 как одного из дисков в storage policy, кто то вроде даже уже пользуется этим
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
В КХ вы кладете 100МБ, он их еще 100 раз пережует и перезапишет, пока в итоге не сольется в 150ГБ.
Обычно ведь наоборот. Я кладу 220 ГБ, они сливаются в 40. И это на единственном инстансе с 600 МБ ОЗУ. Больше 6 млрд. записей уже. Пока работает.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Обычно ведь наоборот. Я кладу 220 ГБ, они сливаются в 40. И это на единственном инстансе с 600 МБ ОЗУ. Больше 6 млрд. записей уже. Пока работает.
вы очень альтернативно понимаете как работает КХ.
источник