Size: a a a

ClickHouse не тормозит

2020 July 21

RM

Ramil Myasoutov in ClickHouse не тормозит
papa karlo
вообще если вам надо селектить звездочку, если вам не надо группировать данные, если вам надо забирать одну строку по ключу, если у вас много мелких запросов и мелких ответов, то возможно делать надо не так.
В целом, да, вы правы. Данную таблицу использую для двух основных целей:
1) Сбор данных для графиков по используемым устройствам и т.п
2) Предоставление информации об определенных пользователях, которые как - то посещали страницы.

Сейчас проблема со второй целью. Под "возможно надо не так", вы подразумевали иной подход в получении данных (то есть при поиске использовать доп. параметры для фильтрации, к примеру дату) или в структуре их хранения?
источник

pk

papa karlo in ClickHouse не тормозит
created_at это что
источник

RM

Ramil Myasoutov in ClickHouse не тормозит
Дата записи лога, данные разбиты по дням
источник

pk

papa karlo in ClickHouse не тормозит
то есть у вас есть username, он источник последовательности action, дата округлена до даты почему-то, вы делаете аналитику и смотрите логи по username?
источник

RM

Ramil Myasoutov in ClickHouse не тормозит
Да
источник

pk

papa karlo in ClickHouse не тормозит
тогда по идее переставить индекс, добавить фильтры по дате где можно, не селектить лишние колонки если не нужны, ну и с event_time DateTime чуть более понятно что происходит.
источник

RM

Ramil Myasoutov in ClickHouse не тормозит
Хорошо, спасибо, попробую
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ramil Myasoutov
Блин, на поверхности, спасибо)
А есть еще какие - нибудь "верные" способы оптимизации подобного поиска? Или все сводится к сортировке и верному подбору движка?
хороший способ оптимизации -- не использовать КХ для таких запросов
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Zhuravsky
добрый день! подскажите, почему в 20.4.4.18 может отломаться TTL на MergeTree таблице? Раньше вроде бы все было хорошо, а сейчас строки сильно старше (на месяц почти) остаются
>вроде бы все было хорошо

не было никогда хорошо, ни в какой версии. Исправили вчера буквально, видимо ждать следующую 20.4

а нет, еще не вмержено https://github.com/ClickHouse/ClickHouse/pull/12548
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>вроде бы все было хорошо

не было никогда хорошо, ни в какой версии. Исправили вчера буквально, видимо ждать следующую 20.4

а нет, еще не вмержено https://github.com/ClickHouse/ClickHouse/pull/12548
:-D ну под «хорошо» я подразумевал что кое-как да работало, а тут похоже вообще от слова совсем встало.

Спасибо за ссылку, будем ждать релиза с фиксом!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
видимо оно чистило(ит) один парт за запуск (раз в сутки), если партов много, например подневное партиционирование и остается 3-4 парта в каждой партиции, то очистить оно не может ну никак.
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Да, похоже на наш кейс очень
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну можно поставить merge_with_ttl_timeout поменьше , чтобы например 4 раза в сутки запускалось
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Спасибо, попробуем завтра
источник

D

Dj in ClickHouse не тормозит
Anton Zhuravsky
Спасибо, попробуем завтра
да у нас в 20.3 на эту тему баг был
https://github.com/ClickHouse/ClickHouse/issues/11576
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да там штук 15 тикетов про одно и тоже "TTL doen't work"
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и кстати всем кто использует "частое" партиционирование и у кого кол-во партов в тысячах стоит прочитать https://github.com/ClickHouse/ClickHouse/issues/11933
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
TLDR однажды когда партов станет например 7000 у Replicated у вас сломаются мутации (Connection loss. Len error ) и соотвественно все alter и придется увеличить -Djute.maxbuffer в зукипере (перегрузив все ноды ЗК)
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
TLDR однажды когда партов станет например 7000 у Replicated у вас сломаются мутации (Connection loss. Len error ) и соотвественно все alter и придется увеличить -Djute.maxbuffer в зукипере (перегрузив все ноды ЗК)
чорд, увеличим заранее... так как партов уже больше )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
В КХ поставлено максимум 256МБ, в ЗК jute.maxbuffer 1МБ по дефолту, видел что в доках lucene/solr ставят 50МБ
правда разработчики ЗК считают что даже 1МБ безумие и ought to be enough for anybody
источник