Size: a a a

ClickHouse не тормозит

2016 November 16

RK

Roman Kolchin in ClickHouse не тормозит
Но если можно сделать гибридное DWH на КХ + универсальная релиционка для пролвинутой работы с таблицами атрибутов, которые в КХ загружаются в виде словарей — то почему бы так и не сделать.
источник

RK

Roman Kolchin in ClickHouse не тормозит
Собственно, если у вас есть практический опыт именно с anchor моделированием, поясните, какие могут тут грабли быть?
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
грабли одни, зачем мне гибридное DWH?
источник

RK

Roman Kolchin in ClickHouse не тормозит
Vladislav 👻 Shishkov
грабли одни, зачем мне гибридное DWH?
Если вам нужно положить много данных в DWH и при этом хотите использовать современный гибкий подход к моделированию, то я ПРЕДПОЛАГАЮ, что вы можете это сделать объединив КХ с какой-нибудь реляционкой рядом. Данных в этой релиционке много быть не должно, она будет чисто под "справчники". Поэтому для этой цели можно использовать все что угодно, даже коммерческие базы от крупных вендоров — их бесплатные/дешевые редакции. Если вы наладите ETL для импорта данных в КХ, то направить часть данных в эту побочную базу проблемы не соствит — в отличие от КХ вокруг этих баз уже есть зрелая инфраструктура. В общем, пугать такое "гибридное" DWH должно только менеджеров (ну как же, две разные технологии, которые наверное будут враждовать друг с другом — ой, боюсь, боюсь).

В общем это лишь мое ПРЕДПОЛОЖЕНИЕ, что таблицы фактов + словари в КХ с подсистемой хранения атрибутов в отдельной базе позволят воспользоваться преимуществами anchor уже сейчас. Если видите грабли в этом, поясните плиз.
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
вы мне сейчас предлагает усложнить ETL на пустом месте, я уж молчу про факт наличия допольнительного ПО/железа и его администрирования и поддержки
источник

RK

Roman Kolchin in ClickHouse не тормозит
Vladislav 👻 Shishkov
вы мне сейчас предлагает усложнить ETL на пустом месте, я уж молчу про факт наличия допольнительного ПО/железа и его администрирования и поддержки
как на пустом месте? польза очевидна — вы получите КХ c плюшками anchor'а
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
плюшки не очевидны на фоне затрат
источник

RK

Roman Kolchin in ClickHouse не тормозит
я прикинул, что КХ c этой "левой" базой можно было бы положить на один сервер
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
я это учел
источник

RK

Roman Kolchin in ClickHouse не тормозит
сам по себе ETL в КХ будет еще тот геморой ;)
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
это отдельный ETL-процесс
источник

АК

Алексей Константинов in ClickHouse не тормозит
Привет. Мне кажется anchor выгоден там, где нет времени-возможности-сил поступающие данные по слоям раскладывать. У Авито все что приходит, они тут же юзают. То есть идея у него - легко грузить данные. Но вот "легко анализировать", это не про anchor :)
источник

RK

Roman Kolchin in ClickHouse не тормозит
+ геморой сам по себе ETL для фомирования anchor сущностей — это геморой не зависит от выбора базы
источник

АК

Алексей Константинов in ClickHouse не тормозит
в том же Авито мы их консультировали, под сотню джойнов в аналитических запросах
источник

АК

Алексей Константинов in ClickHouse не тормозит
даже Вертике мало не казалось
источник

RK

Roman Kolchin in ClickHouse не тормозит
Алексей Константинов
Привет. Мне кажется anchor выгоден там, где нет времени-возможности-сил поступающие данные по слоям раскладывать. У Авито все что приходит, они тут же юзают. То есть идея у него - легко грузить данные. Но вот "легко анализировать", это не про anchor :)
Предположу, что у Авито мало сущностей :) Поэтому 6-я форма не приводит к хаоусу
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
Алексей Константинов
Привет. Мне кажется anchor выгоден там, где нет времени-возможности-сил поступающие данные по слоям раскладывать. У Авито все что приходит, они тут же юзают. То есть идея у него - легко грузить данные. Но вот "легко анализировать", это не про anchor :)
Для анализа собираются витрины, нужны нормальные JOIN'ы и все
источник

АК

Алексей Константинов in ClickHouse не тормозит
да там сплошные логи грузятся, да еще ЕТЛ на Питоне самописный
источник

АК

Алексей Константинов in ClickHouse не тормозит
понятно им выгоднее получилось 6 форма
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
Roman Kolchin
Предположу, что у Авито мало сущностей :) Поэтому 6-я форма не приводит к хаоусу
Если у Авито мало сущностей, мне интересно, у кого их много и что это за сущности?
источник