Size: a a a

ClickHouse не тормозит

2020 July 10

АГ

Алексей Горячев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну баг есть с Engine = Dictionary в 20.4+
Благодарю
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
он уже исправлен, но нет сборок с исправлением, я проверю когда тестинг появится
источник

SB

Serge Bash in ClickHouse не тормозит
При импорте ORC-файла КХ ругается на колонку char(1):
Code: 70. DB::Exception: The type "fixed_size_binary" of an input column "_col2" is not supported for conversion from a ORC data format

Надо пробовать коммитить в КХ обработку этого типа для OCR или есть какие-то обходные костыли?
источник

MK

Max Khlystov in ClickHouse не тормозит
добрый день можно ли сохранить в WITH результат запроса в несколько строк
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Max Khlystov
добрый день можно ли сохранить в WITH результат запроса в несколько строк
у нас не вышло
with в кх немного кастрированный
если результат запроса для with нужно несколько раз использовать, то советю сохранить его в Temporary table
если только один раз — то подзапрос
источник

MK

Max Khlystov in ClickHouse не тормозит
Vladimir Bunchuk
у нас не вышло
with в кх немного кастрированный
если результат запроса для with нужно несколько раз использовать, то советю сохранить его в Temporary table
если только один раз — то подзапрос
спасибо !
источник

Y

YR in ClickHouse не тормозит
Подскажите пожалуйста создаю MATERIALIZED VIEW, но при вставке  (AggregateFunction State) в таблицу часть данных теряется, на что стоит обратить внимание?
create table metrics
(
   ts   DateTime('Europe/Moscow'),
   row1 AggregateFunction(quantileTDigest(0.5), Float64),
   row2 AggregateFunction(quantileTDigest(0.75), Float64),
   row3 AggregateFunction(quantileTDigest(0.99), Float64),
)
   engine = AggregatingMergeTree PARTITION BY toYYYYMM(ts)
       ORDER BY (
                 row1,
                 row2,
                 row3
           ) SETTINGS index_granularity = 8192;


CREATE MATERIALIZED VIEW mw_example
   TO metrics
AS
SELECT toStartOfInterval(ts, toIntervalSecond(60)) AS ts,

      quantileTDigestState(0.5)(row1)             AS q50,
      quantileTDigestState(0.75)(row2)            AS q75,
      quantileTDigestState(0.99)(row3)            AS q99

FROM another_table
WHERE row1 = 'test'
GROUP BY ts, row1, row2, row3
ORDER BY ts ASC, row1 ASC, row2 ASC, row3 ASC;
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
YR
Подскажите пожалуйста создаю MATERIALIZED VIEW, но при вставке  (AggregateFunction State) в таблицу часть данных теряется, на что стоит обратить внимание?
create table metrics
(
   ts   DateTime('Europe/Moscow'),
   row1 AggregateFunction(quantileTDigest(0.5), Float64),
   row2 AggregateFunction(quantileTDigest(0.75), Float64),
   row3 AggregateFunction(quantileTDigest(0.99), Float64),
)
   engine = AggregatingMergeTree PARTITION BY toYYYYMM(ts)
       ORDER BY (
                 row1,
                 row2,
                 row3
           ) SETTINGS index_granularity = 8192;


CREATE MATERIALIZED VIEW mw_example
   TO metrics
AS
SELECT toStartOfInterval(ts, toIntervalSecond(60)) AS ts,

      quantileTDigestState(0.5)(row1)             AS q50,
      quantileTDigestState(0.75)(row2)            AS q75,
      quantileTDigestState(0.99)(row3)            AS q99

FROM another_table
WHERE row1 = 'test'
GROUP BY ts, row1, row2, row3
ORDER BY ts ASC, row1 ASC, row2 ASC, row3 ASC;
у вас в order by таблицы нет ts2, и вообще поля ts у вас нету в select, поля insert-ятся в MV по именам, а не по позиции в select

order by в MV не нужен (в вашем случае)
источник

AE

Alexey Er in ClickHouse не тормозит
Вот опять незадача :(
сlickhouse-server стартует, начинает что-то мержить. В ту же секунду обнаруживает, что база ENGINE=MySQL недоступна, и падает с эксепшеном.
И так каждые полминуты...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey Er
Вот опять незадача :(
сlickhouse-server стартует, начинает что-то мержить. В ту же секунду обнаруживает, что база ENGINE=MySQL недоступна, и падает с эксепшеном.
И так каждые полминуты...
и вопрос в чем? как стартовать ?  отложите в сторону /var/lib/medata/базаmysql.sql
источник

AE

Alexey Er in ClickHouse не тормозит
Не вопрос. Замечание, на что ещё можно напороться (похоже, на всё:)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey Er
Не вопрос. Замечание, на что ещё можно напороться (похоже, на всё:)
database engine mysql мало используется, поэтому там много багов. Все в ваших руках, создайте тикет, приложите логи, пример как воспроизвести
источник

AE

Alexey Er in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и вопрос в чем? как стартовать ?  отложите в сторону /var/lib/medata/базаmysql.sql
За совет спасибо; уже думал всё дропнуть.

Но теперь надо думать, как это обойти на проде. Не всегда же будет база доступна через сеть.
источник

Y

YR in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
у вас в order by таблицы нет ts2, и вообще поля ts у вас нету в select, поля insert-ятся в MV по именам, а не по позиции в select

order by в MV не нужен (в вашем случае)
спасибо за дополнение! Ошибся в примере с названием, поправил, всеравно в таком конфиге часть данных куда-то уходит, еще при выполнении
quantileTDigestState(0.75)
quantileTDigestState(0.5)
quantileTDigestState(0.99) можно получить из стейта другую квантиль это валидно? Можно где-то почитать как вы формируете стейт?
источник

SC

Smoked Cheese in ClickHouse не тормозит
YR
спасибо за дополнение! Ошибся в примере с названием, поправил, всеравно в таком конфиге часть данных куда-то уходит, еще при выполнении
quantileTDigestState(0.75)
quantileTDigestState(0.5)
quantileTDigestState(0.99) можно получить из стейта другую квантиль это валидно? Можно где-то почитать как вы формируете стейт?
можно использовать quantiles* функцию
источник

SC

Smoked Cheese in ClickHouse не тормозит
quantilesTDigestState(0.5, 0.75, 0.99)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
YR
спасибо за дополнение! Ошибся в примере с названием, поправил, всеравно в таком конфиге часть данных куда-то уходит, еще при выполнении
quantileTDigestState(0.75)
quantileTDigestState(0.5)
quantileTDigestState(0.99) можно получить из стейта другую квантиль это валидно? Можно где-то почитать как вы формируете стейт?
еще раз повторяю у вас в order by таблицы нет ts
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
таблице пофиг что вы там понаписали в select-е
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
она получает инсерты, и не в курсе кто и как навставлял
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
мержи тупо схлапывают записи, потому что в ключе нет ts
источник