Size: a a a

ClickHouse не тормозит

2020 September 25

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а для where toStartOfDay(toDate(created_at)) все нетривиально, и нужна магия (искать поиском по слову магия в этом чате)
источник

M

Mishanya in ClickHouse не тормозит
а какоой смысл тогда делать такого рода партиции, которые я написал для примера ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
а какоой смысл тогда делать такого рода партиции, которые я написал для примера ?
ну вообще партиции вообще вообще вообще вообще не для того что бы ускорять запросы
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
во вторых прунинг-то работает если вы понимаете как он работает
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
во вторых прунинг-то работает если вы понимаете как он работает
справедливости ради я писал такой запрос как в первый раз и раньше это работало) сейчас решил чекнуть и все сломалос
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
справедливости ради я писал такой запрос как в первый раз и раньше это работало) сейчас решил чекнуть и все сломалос
пишите всегда в запросах where created_at >= и ваши волосы будут в порядке
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
пишите всегда в запросах where created_at >= и ваши волосы будут в порядке
))))
спасибо! уже который раз помогаете)
ща еще почитаю ссылки ваши
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Версия кх 20.4.8.99, часто возникает ситуация, что запросы выполняются дольше положенного (установлен max_execution_time в 150 секунд) и просто зависают, в итоге копится огромное количество запросов с очень долгим временем выполнения, судя по полю elapsed из таблицы system.processes, кто-то сталкивался?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
Версия кх 20.4.8.99, часто возникает ситуация, что запросы выполняются дольше положенного (установлен max_execution_time в 150 секунд) и просто зависают, в итоге копится огромное количество запросов с очень долгим временем выполнения, судя по полю elapsed из таблицы system.processes, кто-то сталкивался?
ну очевидно что это баг. Воспроизведите в 20.9 и пишите багрепорт.
что в запросах-то? JSONExtract или arrayMap ?
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну очевидно что это баг. Воспроизведите в 20.9 и пишите багрепорт.
что в запросах-то? JSONExtract или arrayMap ?
разве что простейшие ToDate ToDateTime ToIntervalHour, еще FORMAT JSON, больше ничего
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
разве что простейшие ToDate ToDateTime ToIntervalHour, еще FORMAT JSON, больше ничего
в смысле select * from where .... ?
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Вот типичный запрос  

SELECT 0 as id, toDateTime(ts, 'UTC') as ts, latitude, longitude, accuracy, source, course, altitude, speed, activityType
  FROM history
  WHERE dt >= toDate('2020-09-25 15:47:19', 'UTC') AND dt <= toDate(toDateTime('2020-09-25 15:47:19', 'UTC') + toIntervalHour(24)) AND ts > toDateTime('2020-09-25 15:47:19', 'UTC') AND ts < toDateTime('2020-09-25 15:47:19', 'UTC') + toIntervalHour(24) AND user = ХХХХХХ AND isIgnored = 0
  ORDER BY ts ASC
  FORMAT JSON
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
еще есть другие но тоже с простейшими типами и select _, _, _ from where
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
Вот типичный запрос  

SELECT 0 as id, toDateTime(ts, 'UTC') as ts, latitude, longitude, accuracy, source, course, altitude, speed, activityType
  FROM history
  WHERE dt >= toDate('2020-09-25 15:47:19', 'UTC') AND dt <= toDate(toDateTime('2020-09-25 15:47:19', 'UTC') + toIntervalHour(24)) AND ts > toDateTime('2020-09-25 15:47:19', 'UTC') AND ts < toDateTime('2020-09-25 15:47:19', 'UTC') + toIntervalHour(24) AND user = ХХХХХХ AND isIgnored = 0
  ORDER BY ts ASC
  FORMAT JSON
и сколько он строк возвращает? в среднем? сколько времени выполняется?
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
до 10к строк, выполняется в районе 100-200мс. точно не могу сказать - но на других хостах те же самые запросы нормально выполняются, сейчас есть 3 равноценных хоста, на одном нет проблем, на другом 40 висящих запросов, на 3ьем 220, пока не перезапускаем, потому что исследуем проблему, но в целом до этого грубо говоря пару недель все работало без проблем
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
до 10к строк, выполняется в районе 100-200мс. точно не могу сказать - но на других хостах те же самые запросы нормально выполняются, сейчас есть 3 равноценных хоста, на одном нет проблем, на другом 40 висящих запросов, на 3ьем 220, пока не перезапускаем, потому что исследуем проблему, но в целом до этого грубо говоря пару недель все работало без проблем
попробуйте в профиле пользователя default поставить send_timeout = 30 http_send_timeout = 300

КХ конечно вообще не предназначен для этого.
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
попробуйте в профиле пользователя default поставить send_timeout = 30 http_send_timeout = 300

КХ конечно вообще не предназначен для этого.
а почему http_send_timeout в 10 раз больше send_timeout и чем это поможет? по поводу предназначения - сам пришел к такому же выводу, но пока работаем с тем, что есть
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
а почему http_send_timeout в 10 раз больше send_timeout и чем это поможет? по поводу предназначения - сам пришел к такому же выводу, но пока работаем с тем, что есть
потому что http_timeout для репликации нужен, лучше вообще  у конкретного пользователя поправить и протестить чем-нибудь slow-fetch, curl-м например, задав скорость скачки в байтах и пристрелив curl с kill-9
источник
2020 September 26

RK

R K in ClickHouse не тормозит
/IPv4
источник

RK

R K in ClickHouse не тормозит
Всем здравствуйте,  подскажите новичку в кх: не получается в таблицу с полем типа IPv4 импортировать из файла, где ip в числовом виде (uint32), есть ли возможность или забить и использовать в таблице uint32?
источник