Size: a a a

ClickHouse не тормозит

2020 September 25

DT

Dmitry Titov in ClickHouse не тормозит
Dj
а, у вас был в каждом партишне по одному парту? так в моем примере же разные комбинации
Да, но как я понимаю, у меня каждый UNION ALL создал свой парт
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Да, но как я понимаю, у меня каждый UNION ALL создал свой парт
у меня их вообще по 5 штук насоздавалось
источник

MF

Mikhail Filimonov in ClickHouse не тормозит
Dmitry Titov
а вот уже в 20.8 починено честно
А удалось понять что именно не работало, в каких именно случаях и что именно починило?
источник

MF

Mikhail Filimonov in ClickHouse не тормозит
Я немного запутался в этих версиях и разных тестах...
источник

DT

Dmitry Titov in ClickHouse не тормозит
Хм,

Непростой вопрос, но окей

20.7
Первый тест  был PARTITION BY toDate(ts) ORDER BY ts
при выполнении SELECT WHERE toDate(ts)= '2020-09-25'
оно читало все парты, но те парты, что не должны подходить из за партиционирования оно читало только последнюю гранулу(это помогал индекс отбросить почти все, что не нужно).

Второй тест  был PARTITION BY toDate(ts) ORDER BY tuple()
при выполнении SELECT WHERE toDate(ts)= '2020-09-25'
оно читало вообще все парты и всю таблицу

20.8
И первый и второй тест работает корректно, я во всем виню этот PR https://github.com/ClickHouse/ClickHouse/pull/13497
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/pull/13497
тут Amos химичил с монотонностью toDate и видимо все починил
источник

MF

Mikhail Filimonov in ClickHouse не тормозит
Ага, вроде понял - похоже раньше toDate(DateTime) для определения монотонности пользовалась тем же правилом что и числовой каст из Uint32 в Uint16. А там монотонность теряется при переполнении.
источник

AK

Anton Kondakov in ClickHouse не тормозит
Ну вот как так то,  раньше при неверном формате в кафке записи просто скипались, а в 20 версии по умолчанию останавливается загрузка :( и входит в какой то бесконечный цикл. Появился параметр kafka_skip_broken_messages который по умолчанию в 0 выставлен. Вопрос, можно это как то совсем отключить? Правильно я понимаю что скипается только один блок, если kafka_skip_broken_messages=kafka_max_block_size это решит проблему?
источник

Y

Yuran in ClickHouse не тормозит
Разработчики ВК настолько суровы...
источник

Y

Yuran in ClickHouse не тормозит
источник

D

Dj in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/issues/11791#issuecomment-646855613
ничего нового =)

может тоже связано с lowcardinality.
источник

Y

Yuran in ClickHouse не тормозит
Спасибо, передал, кому нужно 🙂
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
Здравствуйте! Какой статус у live view? Остается или уберут?
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
Уже спрашивал, извините если пропустил ответ
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Всем доброго утра, подскажите, есть ли инструменты (может я олдфаг и по mssql сужу) но вдруг, нет ли у CH инструмента чтобы вежливо его попросить освободить сожранную память? Чтобы без рестарта
источник

D

Dmitry in ClickHouse не тормозит
Всем привет !
источник

I

Ivan in ClickHouse не тормозит
Товарищи, есть вопрос: в версии 19.14 для того чтобы изменить TTL для таблицы в сторону увеличения (с изменением для тех данных, которые уже есть в таблице) достаточно сделать ALTER TABLE <tableName> MODIFY TTL <expr>, или нужно проделывать манипуляции с данными, чтобы изменить их TTL?
источник

ГД

Георгий Друзин... in ClickHouse не тормозит
Добрый день.

input_format_skip_unknown_fields - можете подсказать в какой место конфига сервера встаить этот параметр с 1?

при поппытке вставить его в скрипт питона получаю ошибку
Syntax error (Multi-statements are not allowed)
источник

ГД

Георгий Друзин... in ClickHouse не тормозит
пробовал вставить в users.xml
но что-то не помогает или не там указываю
источник

AT

Alexander T in ClickHouse не тормозит
Всем привет. Нагуглил разные варианты, не очень понимаю, какой правильнее, решил тут спросить:
как получить уникальные строки по одной колонке?
a b
1 2
1 3
2 4
2 5

получить:
a b
1 2
2 4
источник