Size: a a a

ClickHouse не тормозит

2021 February 17

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а если
ANY LEFT JOIN dictionary_as_table on tuple(dictionary_as_table.name) = tuple(source.name)source.name)
так же как и обычный джоин
в чем концептуальная разница написания условия в вашем примере ?
тип таким образом словарь должен был сам переписаться на dictGet, если условие через tuple описано ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
так же как и обычный джоин
в чем концептуальная разница написания условия в вашем примере ?
тип таким образом словарь должен был сам переписаться на dictGet, если условие через tuple описано ?
я не знаю почему у вас не работает, я угадываю
надо знать версию КХ конечно, может у вас этой фичи нет

https://github.com/ClickHouse/ClickHouse/pull/10133
может с any не работает
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
мне лень с этим разбираться, мне эта фича не нужна
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
я не знаю почему у вас не работает, я угадываю
надо знать версию КХ конечно, может у вас этой фичи нет

https://github.com/ClickHouse/ClickHouse/pull/10133
может с any не работает
наверное да, как узнать в какой релиз этот пр попал ?
у меня 20.3.19
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
наверное да, как узнать в какой релиз этот пр попал ?
у меня 20.3.19
поиск по https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/whats-new/changelog/2020.md

v20.4.2.9, 2020-05-12 Special HashJoin over StorageDictionary. Allow rewrite dictGet() functions with JOINs. It's not backward incompatible itself but could uncover #8400 on some installations. #10133 (Artem Zuikov)
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
поиск по https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/whats-new/changelog/2020.md

v20.4.2.9, 2020-05-12 Special HashJoin over StorageDictionary. Allow rewrite dictGet() functions with JOINs. It's not backward incompatible itself but could uncover #8400 on some installations. #10133 (Artem Zuikov)
понял, спасибо!)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Rahat
Можете пояснить что за именно issue ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Денис Анатольевич
Добрый день, подскажите, возможно как-то начать использовать TTL на таблице, которая не позволяет добавить его, ссылаясь на старый метод создания?
нельзя, это невозможно. Новые фичи не работают и не будут работать, и не будут добавляться для таблиц со старым синтаксисом.

нужно избавится от таблиц со старым синтаксисом, он не будет поддерживаться вечно
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нельзя, это невозможно. Новые фичи не работают и не будут работать, и не будут добавляться для таблиц со старым синтаксисом.

нужно избавится от таблиц со старым синтаксисом, он не будет поддерживаться вечно
Спасибо за ответ, единственный выход пересобрать таблицу в несколько терабайт - это некая миграция? Слабо верится, что нет способа, относительно безболезненного
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Денис Анатольевич
Спасибо за ответ, единственный выход пересобрать таблицу в несколько терабайт - это некая миграция? Слабо верится, что нет способа, относительно безболезненного
конечно есть.

все зависит от кол-ва денег которые вы готовы потратить. Может статься что пересобрать самый дешевый способ.

Вы сколько времени данные храните? Вечно?
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
конечно есть.

все зависит от кол-ва денег которые вы готовы потратить. Может статься что пересобрать самый дешевый способ.

Вы сколько времени данные храните? Вечно?
Нужно три года, пока прошло два :) думал как сделать ротацию, пока в голову приходит удаление партиций автоматических через cron
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Почитал в мане про TTL и понял, что похоже на мою хотелку, однако она не работает на старой таблицей, выходит нужно либо мигрировать либо костылить крон
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Денис Анатольевич
Нужно три года, пока прошло два :) думал как сделать ротацию, пока в голову приходит удаление партиций автоматических через cron
а не если лень разбираться,  вручную раз в пол года дропайте
источник

D

Dj in ClickHouse не тормозит
Денис Анатольевич
Нужно три года, пока прошло два :) думал как сделать ротацию, пока в голову приходит удаление партиций автоматических через cron
>пока в голову приходит удаление партиций автоматических через cron

делайте так, пока я не начал рассказывать прелести про ттл =)
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
=)) спасибо обоим!
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
значит я в верном направлении иду, у меня несколько баз, я экспериментировал с настройками, когда только начал знакомиться с кх, и есть где настроен ТТЛ, посмотрим ка котрабатывать будет)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
А вообще старый синтаксис устарел в декабре 2017. Поэтому я бы стучал по пальцам тех кто создал таблицы 2 года назад.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Тестов на таблицы со старым синтаксисом мало, поэтому иногда новые версии КХ их ломают, и однажды у вас все взорвется на проде.
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Не питаю иллюзий насчет этого, да, вот и смотрю как с меньшей кровью перевести эти терабайты без простоя или хотя бы минимизировать его
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
Вижу такой сценарий:
создать новую таблицу, и начать все писать туда, а тем временем перенести данные из старой в новую. Так делают?
источник