Size: a a a

ClickHouse не тормозит

2020 June 19

l

lnuynxa in ClickHouse не тормозит
Прям конкретно аналоги сложно сказать, но некоторые компании заменяли у себя Citus Data на кликхаус
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий
Всем доброго времени суток. Скажите, пожалуйста, какие существуют платные аналоги Clickhouse? Я знаю про Oracle при использовании columnar store механизма хранения, доступного на Exadata Machine, а какие ещё есть?
плюс еще exasol dolphindb kdb+ snowflake
источник

Д

Дмитрий in ClickHouse не тормозит
Спасибо
источник

AT

Al T in ClickHouse не тормозит
snowflake не так чтоб супер быстр (будет жалко если у кх будет также :)  после переезда на s3)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я думаю все они примерно одинаковые по скорости, просто это разные инструменты со своим дизайном,
КХ тоже будет супертормоз если делать джойны и каждую колонку запихать в отдельную таблицу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
у S3 тоже например Traffic between Amazon EC2 and Amazon S3 can leverage up to 25 Gbps of bandwidth.
источник

AT

Al T in ClickHouse не тормозит
да, плюс еще можно VPC S3 endpoints использовать чтобы трафик не ходил через публичный S3 endpoint а маршрутизировался внутри амазона
источник

AT

Al T in ClickHouse не тормозит
есть варианты конечно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я думаю что, то что в презентации сказали про 55МБ/c с Яндексового S3 , это можно распаллеливать, но видимо придется как-то файл научится размазывать в несколько объектов (типа raid0), также как и AWS S3
источник

l

lnuynxa in ClickHouse не тормозит
Ну тут зависит от того, как облако устроено, сам файл может реплицирован на несколько серверов и на каждом сервере еще размазан по нескольким дискам.
источник

D

Dj in ClickHouse не тормозит
Дмитрий
Всем доброго времени суток. Скажите, пожалуйста, какие существуют платные аналоги Clickhouse? Я знаю про Oracle при использовании columnar store механизма хранения, доступного на Exadata Machine, а какие ещё есть?
omniscidb (бывш mapd) но GPU based.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в s3 это не файл, это множество кусочков по 5МБ, с другой стороны на диске это тоже кусочки по 512/4096
источник

Д

Дмитрий in ClickHouse не тормозит
Dj
omniscidb (бывш mapd) но GPU based.
Спасибо
источник

l

lnuynxa in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в s3 это не файл, это множество кусочков по 5МБ, с другой стороны на диске это тоже кусочки по 512/4096
Ну то есть есть все шансы, на то что бы иметь достаточную производительность с маштабированием от кол-ва дисков есть.
Впрочем для конкретно кх 5 мб кажется маловато.
Другой вопрос, насколько я помню во всех модных облаках скачивание с с3 платное?  емнип
или это только наружу?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Трафик внутри бесплатный, реквесты не бесплатные
источник

l

lnuynxa in ClickHouse не тормозит
Smoked Cheese
Трафик внутри бесплатный, реквесты не бесплатные
Тоже приятного мало, особенно учитывая, что в идеале клик будет дергать блоки из файлов, а не файлы целиком
источник

D

Dj in ClickHouse не тормозит
Дмитрий
Спасибо
вообще 1 к 1 прям аналогов нет, смотря что вам надо
из тех что он-прем
vertica (columnar)
greenplum (columnar/row/hybrid+transactions)
ora exadata (appliance)
sap hana (appliance)
exasol (IMDB)
kdb+ (не SQL но супер быстрая)
cloudera impala [optionally +kudu]
omniscidb/mapd (gpu based columnar)
источник

l

lnuynxa in ClickHouse не тормозит
Кстати в теории компактные парты могли бы быть вида.
не столбец1столбец2столбец3 как сейчас
А кусочками 64к строк(блок сжатия) столбец1столбец2столбец3 и так до победного.
чисто в теории выглядит, что в таком при дергании гранул локальность seek дисков должна была бы быть лучше.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
s3 настолько небесплатный что стоимость хранения за GB в разы выше чем диски в хецнере, я бекапы делаю на жесткие диски, чтобы сэкономить на s3
источник

D

Dj in ClickHouse не тормозит
Дмитрий
Спасибо
чуть самое главное не забыл )
если денег прям очень много, есть ещё Терадата !
источник