Size: a a a

ClickHouse не тормозит

2020 September 02

DT

Dmitry Titov in ClickHouse не тормозит
Maxim Petrovsky
Подскажите пожалуйста, как проверить что dateTime имеет не дефолтное значение '0000-00-00 00:00:00'?
toDateTime('0000-00-00 00:00:00') != 0;
источник

ПШ

Павел Moroz Шамрай... in ClickHouse не тормозит
Maxim Petrovsky
Подскажите пожалуйста, как проверить что dateTime имеет не дефолтное значение '0000-00-00 00:00:00'?
date != toDateTime('0000-00-00 00:00:00')
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а нолики уже выпилены, забудьте

SELECT toDateTime(0)

┌───────toDateTime(0)─┐
│ 1970-01-01 00:00:00 │
└─────────────────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник

l

lnuynxa in ClickHouse не тормозит
Хм, а будет ли поддержка конвертации 0000-00-00 в 1970-01-01 для запросов, что бы меньше ломать людям жизнь
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem Bochkov
Коллеги, добрый день!
>Estimated query execution time (53900.3476949325446 seconds) is too long. Maximum: 240. Estimated rows to process: 1965022
Очевидно, про оценку он врет. Вопрос: где можно задать max_execution_time отличный от 240?
SELECT * FROM system.settings where value='240';
0 rows in set. Elapsed: 0.003 sec.
на самом деле эта настройка изменила поведение и стала работать как должна, а не так как мы все хотим :(((((((((((

и теперь есть
--timeout_before_checking_execution_speed arg                    Check that the speed is not too low after the specified time has elapsed.
которая позволяет вернуть  поведение если в 0 поставить
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Orlan
Привет всем! Хочу создать мвишку с sumMapState функцией. Подскажите есть ли такой движок ReplicatedAggregatingMergeTree? У нас кликхаус с двумя репликами, какой движок выбрать для создания мвишки
там кстати стейт не нужен и достаточно simpleaggregatefunction
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladislav
Всем привет. Вопрос по поводу too many parts. Движок ReplicatedReplacingMergeTree, Ключ партиции PARTITION BY toYYYYMM(event_time), вставлял батчами по 10к, но видимо все-равно слишком часто? В system.parts у таблицы 338 записей у некоторых  в rows 2 строки всего.  Как это можно исправить?
да хоть по одной записи можно вставлять, вопрос сколько партов в секунду создается
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Akim
5 для резервирования. А почему использовать необходимо именно 3, чем 5 хостов хуже?
Пинг от 3 до 20 мс примерно, в зависимости от хоста
5 хостов дольше согласовывают кворум чем 3. 3 достачно примерно всем.

нужны логи подробные от КХ и всех зукиперов, ничего без логов непонятно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Gleb
max_memory_usage_for_all_queries

Подскажите не нашёл этого в документации?
читайте changlog , этот параметр уже заменен другим, я отвечал пользователю с древним кликхауз
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
вопрос на миллион.

мердженджин овер дистрибютед* овер локальные таблицы
или
один дистрибютед овер мердженджин* на локальных хостах

(вставку не делаем, исключительно для селектов)
один дистрибютед овер мердженджин*
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
да, какие то невообразимые тормоза при мердж-овер-дистр* по сравнению с локальными запусками одноуровневых запросов
не работает move_to_prewhere. Надо prewhere руками задавать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slawka
Подскажите плиз
Таблица вида
Дата, сервер, счётчик

Нужно получить
Дата, сервера в этом промежутке, runningDiff по каждому серверу
arrayDifference ( groupArray (
group by server
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Gleb
можно ветку для администрирования создать?
лучше задавайте вопросы в гитхабе, тут нет никого
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail
да мне для логов, какой-нибудь TTL date + toIntervalDay(30)  меня устроит, если это ненамного дороже, чем партиции по дате
вам же Dmity написал что ttl умеет дропать целиком партиции, надо просто задать ttl_only_drop_parts параметр у таблицы, alter table modify settings ttl_only_drop_parts=1
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail
то есть я  делаю PARTITION BY toDate(timestamp) и TTL и как ttl протухает, старые партиции дропаются? где-то видел тикеты, что ttl старые партиции очищает, но не удаляет
так и было задумано, и это уже изменили, но вам это все не нужно
источник

M

Mikhail in ClickHouse не тормозит
спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alex
А что с HLL стейтами стало после версии 20.4.9.110?
Если сгенерировать HLL стейт и использовать его в запросе, то выдаёт кривой результат.

SELECT uniqCombinedMerge(state) FROM (SELECT CAST(unhex('03...1C') AS AggregateFunction(uniqCombined, String)) AS state)

До версии 20.4 (включительно) нормальный результат выдаёт, а после (>=20.5) вместо миллионов результат 3 или 6 только встречается.
пример есть? не воспроизводится

20.8.1.4513
SELECT uniqCombinedMerge(st) from (select cast(unhex(state), 'AggregateFunction(uniqCombined, String)') st from (select hex(cast(uniqCombinedState(toString(number)),'String')) state from numbers(1000000)));
997439
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
один дистрибютед овер мердженджин*
одинаковый перформанс примерно когда тормозов нет.
а тормоза там были из-за того что один из хостов внезапно начинает тормозить по ИО (так как ввиду других факторов, там есть апп. хотя апп пишет вообще на ССД массив, но может контроллер или ОС не тянет, или ФС кеш убивается аппом, либо XFS что то мутит, уходит в 99% ио kernel)
источник

A

Alex in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
пример есть? не воспроизводится

20.8.1.4513
SELECT uniqCombinedMerge(st) from (select cast(unhex(state), 'AggregateFunction(uniqCombined, String)') st from (select hex(cast(uniqCombinedState(toString(number)),'String')) state from numbers(1000000)));
997439
Могу в личку скинуть, запрос будет слишком большим
источник