Size: a a a

ClickHouse не тормозит

2020 May 15

AS

Alexander Sapin in ClickHouse не тормозит
Andrey
я не замерял. Но есть предположение что разница не велика если вообще есть.

Вот кстати может @Alesapin сможет нам рассказать?
Количество полей не влияет. Есть вариант, когда у вас ключ состоит из нескольких полей (ComplexKeyCache/Hashed), там чуть другая хеш-таблица, но работает почти также эффективно.
источник

A

Andrey in ClickHouse не тормозит
Alexander Sapin
Количество полей не влияет. Есть вариант, когда у вас ключ состоит из нескольких полей (ComplexKeyCache/Hashed), там чуть другая хеш-таблица, но работает почти также эффективно.
Ага, а колонки также хранятся отдельными и будь их хоть 100500, выборка по ключу будет на такой же скорости как если бы калонок было только 2, верно?
источник

AS

Alexander Sapin in ClickHouse не тормозит
Andrey
Ага, а колонки также хранятся отдельными и будь их хоть 100500, выборка по ключу будет на такой же скорости как если бы калонок было только 2, верно?
да, ну с точностью до перекладывания большего количества байт в памяти)
источник

A

Andrey in ClickHouse не тормозит
Alexander Sapin
да, ну с точностью до перекладывания большего количества байт в памяти)
огонь. спасибо!
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Alexander Sapin
Количество полей не влияет. Есть вариант, когда у вас ключ состоит из нескольких полей (ComplexKeyCache/Hashed), там чуть другая хеш-таблица, но работает почти также эффективно.
Не понял на счёт complexkeycache/hashed. Где можно об этом почитать?
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Serhii Kholodniuk
Не понял на счёт complexkeycache/hashed. Где можно об этом почитать?
Можна миксовать layout?
источник

AS

Alexander Sapin in ClickHouse не тормозит
Serhii Kholodniuk
Можна миксовать layout?
источник

AS

Alexander Sapin in ClickHouse не тормозит
Я имел ввиду или ComplexKeyCache или ComplexKeyHashed
источник

SK

Serhii Kholodniuk in ClickHouse не тормозит
Спасибо. Почитаю.
источник

EV

Evgeny Vorobyev in ClickHouse не тормозит
Всем привет! Интересно, почему в функции formatDateTime нельзя указать квартал в агрументе format?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
потому что автор formatDateTime реализовал то что ему казалось нужным
источник

A

Alex in ClickHouse не тормозит
Всем привет!
Есть база на mysql в которую ежедневно падает в 1 таблицу 17 миллионов строк и другую 3 миллиона.
Через месяц это пол миллиарда и куча индексов, которые будут нагружать диск и сервер будет страдать как и проект...
Проект написан на yii2 + mysql, как я уже писал. Мне кажется с мускулом я далеко не уеду и нужно менять базу на что то более быстрое, намного быстрее... в таблицах в основном цифры. и есть 1 колонка TEXT.

Основная проблема, что на миллиарде строк, инсерт/апдейт/delete работаю конечно дольше...

С кликхаус не знаком вообще. Читаю... подскажите, разрулит ли это мою ситуацию? Что читать, как интегрировать и пользоваться) И сколько времени займет переезд примерно может быть подскажете)?
источник

S

Serj in ClickHouse не тормозит
Alex
Всем привет!
Есть база на mysql в которую ежедневно падает в 1 таблицу 17 миллионов строк и другую 3 миллиона.
Через месяц это пол миллиарда и куча индексов, которые будут нагружать диск и сервер будет страдать как и проект...
Проект написан на yii2 + mysql, как я уже писал. Мне кажется с мускулом я далеко не уеду и нужно менять базу на что то более быстрое, намного быстрее... в таблицах в основном цифры. и есть 1 колонка TEXT.

Основная проблема, что на миллиарде строк, инсерт/апдейт/delete работаю конечно дольше...

С кликхаус не знаком вообще. Читаю... подскажите, разрулит ли это мою ситуацию? Что читать, как интегрировать и пользоваться) И сколько времени займет переезд примерно может быть подскажете)?
источник

S

Serj in ClickHouse не тормозит
Если тебе нужно постоянно делать апдейт или удалять записи, то кликхаус не подойдет
источник

A

Alex in ClickHouse не тормозит
Serj
Если тебе нужно постоянно делать апдейт или удалять записи, то кликхаус не подойдет
Спасибо за отклик! Самая крупная из таблиц только инсерты, пишет стату. Возможна интеграция с  php получать данные? Там будут только инсерты и крупные селекты на диапазаоны дат... Я к тому, что если эту и еще пару таблиц сделать на кликхаус то в этой части я выиграю..?
источник

S

Serj in ClickHouse не тормозит
Alex
Спасибо за отклик! Самая крупная из таблиц только инсерты, пишет стату. Возможна интеграция с  php получать данные? Там будут только инсерты и крупные селекты на диапазаоны дат... Я к тому, что если эту и еще пару таблиц сделать на кликхаус то в этой части я выиграю..?
>Возможна интеграция с  php получать данные?
да
>Там будут только инсерты и крупные селекты на диапазаоны дат...
Тогда кликхаус подойдет
>Я к тому, что если эту и еще пару таблиц сделать на кликхаус то в этой части я выиграю..?
Если это очень жирные таблицы, кейс использования которых "много записи, мало чтения, нет апдейтов данных" и чтение желательно аналитическое - группировка по полям, подсчет чего-то и тд, то выиграешь.

Но учти что просто писать по одной записи в кликхаус, как это принято в mysql, например, нельзя, в кликхаус данные должны поступать пачками - для этого можно использовать kittenhouse, clickhouse-bulk или Apache Kafka
источник

A

Alex in ClickHouse не тормозит
Понял. А еще тогда можно попросить бенчмарки по тестам скоро с другими базами? Если конечно вдруг знаете.

Я смотрю и синтаксис sql подобный...
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Alex
Понял. А еще тогда можно попросить бенчмарки по тестам скоро с другими базами? Если конечно вдруг знаете.

Я смотрю и синтаксис sql подобный...
источник

A

Alex in ClickHouse не тормозит
спасибо всем огромное, помогли.
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Alex
Понял. А еще тогда можно попросить бенчмарки по тестам скоро с другими базами? Если конечно вдруг знаете.

Я смотрю и синтаксис sql подобный...
тут стоит добавить что бенчмарки еще одно преимущество кликхауса не раскрывает, сжатые данные примерно в 5-7 раз меньше места будут занимать чем в мускуле
источник