Size: a a a

ClickHouse не тормозит

2020 June 05

AI

Artsiom Ivanov in ClickHouse не тормозит
Dj
и перебором искать туплы динамически? это какой-то новый уровень оверэнжиниринга,  тормозов и доп памяти для запроса (в 2 раза минимум)...
зачем искать? ) SELECT col.1.2 as col.1.1, col.2.2 as col.2.1 FROM (SELECT (('name', 1), ('price', 2)) as col) красота же (нет, можно еще лучше), но и так нельзя (
источник

D

Dj in ClickHouse не тормозит
Artsiom Ivanov
зачем искать? ) SELECT col.1.2 as col.1.1, col.2.2 as col.2.1 FROM (SELECT (('name', 1), ('price', 2)) as col) красота же (нет, можно еще лучше), но и так нельзя (
я сломался походу, видимо вечер пятницы влияет ))) вон Денни или Дмитрий лучше разберутся )

делайте уже так если цифры вам совсем спать не дают...
SELECT 
name,
priceArr[idx] as price,
avgPrice
from (
 SELECT
       groupArray(t.name) as nameArr,
       groupArray(t.price) as priceArr,
       avg(price) as avgPrice
     FROM (-- data simulation
           SELECT arrayJoin([(3, 'a'), (5, 'b'), (3, 'c'), (3, 'd')]) as col, col.1 as price, col.2 as name
          ) as t
)
ARRAY JOIN nameArr as name, arrayEnumerate(nameArr) as idx
WHERE price > avgPrice
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну это мерж таблицы search_index.vector_index нахрена он памяти столько жрет непонятно, обновитесь сначала.

в search_index.vector_index есть String поле в котором длинные строки? и сколько там полей в таблице ? примерно?
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
нет, там стринги короткие и массивы длинные оч
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Массивы с флотами, весят много.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну это из-за массивов тогда. Вам надо уменьшать merge_max_block_size например сделать = 500
https://github.com/den-crane/ClickHouse/blob/master/docs/ru/operations/settings/merge-tree-settings.md#merge_max_block_size-merge-max-block-size
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artsiom Ivanov
зачем искать? ) SELECT col.1.2 as col.1.1, col.2.2 as col.2.1 FROM (SELECT (('name', 1), ('price', 2)) as col) красота же (нет, можно еще лучше), но и так нельзя (
на мой вкус выглядит страшнее, чем обычные туплы с циферками :)
Да и вообще разве базовый sql позволяет динамические названия?!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я не. читал целиком, если туплы не нравятся

groupArray((name, price))

то почему не groupArray(price), groupArray(name)
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я не. читал целиком, если туплы не нравятся

groupArray((name, price))

то почему не groupArray(price), groupArray(name)
там походу динамическое программирование требуется
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
там походу динамическое программирование требуется
я вообще sql запросы не пишу руками, поэтому претензия непонятна ща
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
на мой вкус выглядит страшнее, чем обычные туплы с циферками :)
Да и вообще разве базовый sql позволяет динамические названия?!
нет, но что-то типа
         tuple.name1
удобная штука
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я вообще sql запросы не пишу руками, поэтому претензия непонятна ща
ну, а там руками хочется чтоб люди не ошибались с номерами
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
там походу динамическое программирование требуется
на самом деле если у него динамическое построение запроса, что мешает просто везде использовать один и тот же массив правильным образом для подстановки
источник

D

Dj in ClickHouse не тормозит
защита от кривых рук наверно
https://t.me/clickhouse_ru/165352
источник

LB

Leonid Betelgeuse in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну это из-за массивов тогда. Вам надо уменьшать merge_max_block_size например сделать = 500
https://github.com/den-crane/ClickHouse/blob/master/docs/ru/operations/settings/merge-tree-settings.md#merge_max_block_size-merge-max-block-size
Спасибо, помогло.
источник

Д

Дмитрий in ClickHouse не тормозит
Скажите, пожалуйста, стоит ли пытаться реализовывать ETL процессы по агрегации данных, используя Clickhouse? Или более лучшей практикой будет использование сторонних инструментов для загрузки уже подготовленных данных в агрегированном виде в БД?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Дмитрий
Скажите, пожалуйста, стоит ли пытаться реализовывать ETL процессы по агрегации данных, используя Clickhouse? Или более лучшей практикой будет использование сторонних инструментов для загрузки уже подготовленных данных в агрегированном виде в БД?
смотря, какая агрегация? JOIN ить множество таблиц? лучше до кликхауса.
Считать всякие avg по GROUP BY, для этого есть отличные mat View
источник

Д

Дмитрий in ClickHouse не тормозит
Join-ы
источник

Д

Дмитрий in ClickHouse не тормозит
Очень больших таблиц
источник

DT

Dmitry Titov in ClickHouse не тормозит
Лучше до кликхауса, впрочем если были бы маленькие таблицы справа, то можно попробовать было бы dictionary
источник