Size: a a a

ClickHouse не тормозит

2021 March 19

Sitrix Тарасов Иван... in ClickHouse не тормозит
Dmitry Titov
Странное желание, когда уже есть кафка идти к реббиту выглядит как даунгрейд :)
Ну не знаю, сколько не пытался, так и не смог оценить ее по достоинству.
источник

NZ

Nikita Zakharov in ClickHouse не тормозит
Dmitry Titov
А вообще рекомендуем накатываться на altinity stable релизы, там такого быть либо не должно, либо будут предупреждения :)
Посмотрю про это
источник

NZ

Nikita Zakharov in ClickHouse не тормозит
Dmitry Titov
Пишите багу на гитхаб
issue написал
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sitrix Тарасов Иван
Ну не знаю, сколько не пытался, так и не смог оценить ее по достоинству.
Ну, у реббита все сильно хуже с пропускной особенно когда включены durability очереди емнип

Плюс есть кафка без zookeeper и JVM -> redpanda
источник

NZ

Nikita Zakharov in ClickHouse не тормозит
@unamedrus спасибо за помощь)
источник

Sitrix Тарасов Иван... in ClickHouse не тормозит
Dmitry Titov
Ну, у реббита все сильно хуже с пропускной особенно когда включены durability очереди емнип

Плюс есть кафка без zookeeper и JVM -> redpanda
У нас не такой большой поток сообщений, а Кафка тоже не у нас, по этой причине 2 костыля вместо одного)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sitrix Тарасов Иван
У нас не такой большой поток сообщений, а Кафка тоже не у нас, по этой причине 2 костыля вместо одного)
Ну, попробовать альтернативы думаю никто не запрещает :)
источник

Sitrix Тарасов Иван... in ClickHouse не тормозит
Dmitry Titov
Ну, попробовать альтернативы думаю никто не запрещает :)
Не запрещают, поэтому есть клик,так как что может он ни чего другое не смогло. «Обожаю» корпоративные стандарты.)
источник
2021 March 20

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
Добрый день. Подскажите по cache словарям, источник КХ. Что значит lifetime как время устаревания. То есть по проишествию lifetime данные очищаются из кэша? И что значит SIZE_IN_CELLS, как его можно примерно посчитать для своих таблиц?
>Что значит lifetime как время устаревания. То есть по проишествию lifetime данные очищаются из кэша
нет не очищаются, просто когда запрашивается ключ, если его нет или он устарел по lifetime, то он будет запрошен из source

>И что значит SIZE_IN_CELLS, как его можно примерно посчитать для своих таблиц
сколько строк кешировать, просто даете чтобы память использовалась сколько не жалко.
поставили 100тыс, словарь съел 10ГБ, ну и решаете увеличить или уменьшить
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nickolay Kovalev
Этот же запрос сейчас, меньше секунды
интересно,
а сколько у вас CPU и сколько запросов обычно одновременно бежит?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Voronov
Привет! Есть ли более изящный способ проверить входит ли хотя бы одна подстрока в строку?

У меня получился такой вариант:

select arraySort(
 multiSearchAllPositions('dog ate cat and all', ['cat', 'now', 'way'])
)[-1] > 0 as test


Регулярки пробовать не рискнул, так как они по идее должны быть не очень производительные.
там примерно одно и тоже под капотом и у регулярок и у multiSearchAllPositions
берите multiSearchAny
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Rebrikov Konstantin
Здравствуйте.
На некоторых столбцах таблицы (подневное партиционирование) стоит однодневный TTL ( "dateField + toIntervalDay(1)" ).
В результате слияний, дополнительно подгоняемых OPTIMIZE FINAL, партиции, устаревшие на несколько дней (и в которые больше не приходят данные) свернулись в единственный парт.  
Но в некоторых из таких партиций-партов столбцы с суточным TTL не до конца обнуляются (иногда несколько десятков % записей оставались со своими исходными значениями в TTL-столбцах).

В файловой системе внутри соответствующих parts в файле ttl.txt все столбцы, которые должны были очиститься перечислены уже с нулями в min и  max:(  Т.е. если clickhouse ориентируется на ttl.txt, то он должен считать свою работу выполненной?
(А вот в system.parts для этих parts указаны правильные delete_ttl_info_max и delete_ttl_info_min).

Здесь что-то уже пошло не так, или такое может быть?

( Если к таким parts применить  MATERIALIZE TTL IN PARTITION , то после завершения мутации TTL-столбцы полностью очищаются, как и должно было быть.  )
это речь про summingMT ?
а кто сказал что записи из партиции в партицию смогут перепрыгнуть?
вы хакнули - сломали себе таблицу похоже

это все делается через TTL group by

современный КХ такое не позволяет

create table t1(A Int64, D Date TTL D + interval 1 day, V Float64)
Engine=SummingMergeTree
partition by D
order by A
DB::Exception: Trying to set TTL for key column D.
источник

RV

Roman Voronov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
там примерно одно и тоже под капотом и у регулярок и у multiSearchAllPositions
берите multiSearchAny
Спасибо!
источник

Ф

Федор in ClickHouse не тормозит
А кто какие подходы использует для управлениями изменений схем в CH? Готовых решений не нашёл. Это надо будет свой велосипед пилить?
источник

DM

Danila Migalin in ClickHouse не тормозит
Мы накрутили свой велик - автоматика постоянно сравнивает целевую схему и текущую, если надо, вычисляет альтеры и применяет их.
План ещё эту же схему к данным в кафке применять.
источник

v

vldmr in ClickHouse не тормозит
Федор
А кто какие подходы использует для управлениями изменений схем в CH? Готовых решений не нашёл. Это надо будет свой велосипед пилить?
источник

A

Alex in ClickHouse не тормозит
добрый день товарищи, подскажите мне решению классической islands and gaps задачи
у меня есть таблица, в нее записываются пользователи со страницы "пингами", клиент присылает запись такого вида
uid | guid | user_time | ну и куча всякой технической штуки
uid - идентификатор пользователя
guid - идентификатор "сессии", если обновить страницу, то сгенерится новый guid
user_time - время у клиента

пингует он каждые 10 секунд
подскажите мне, как по связке uid + guid составить промежутки по времени, когда пользователь с определенной сессией был на странице?

при этом он может открыть 2 вкладки - это будет другая связка uid + guid и ее тоже надо засечь параллельно

и так же в теории промежутки между пингами могут быть больше 10 секунд (пропал интернет, или просто комп в сон ушел, непринципиально)
то есть вычленить интервалы, которые условно по 10 секунд пинговались
источник

S

Slach in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а питон драйвер точно про 8123 а не 9000 ?
Есть разные драйвера
В питоне
источник

P

Protey in ClickHouse не тормозит
Всем хороших выходных! Выложено исправление shell скрипта clickhouse_information.sh, который выводит расширенную информацию по ClickHouse. Поправлены отчёты по таблицам и добавлено отображение топ исторических запросов по потреблению памяти.
https://github.com/Azmodey/ch_dba_scripts
источник

Ф

Федор in ClickHouse не тормозит
Danila Migalin
Мы накрутили свой велик - автоматика постоянно сравнивает целевую схему и текущую, если надо, вычисляет альтеры и применяет их.
План ещё эту же схему к данным в кафке применять.
А мигратор запускаете в одном экземпляре?
источник