Size: a a a

ClickHouse не тормозит

2021 March 04

DT

Dmitry Titov in ClickHouse не тормозит
galina malkh
как получить пересечение результатов двух запросов? select ....INTERSECT select - есть такой функционал?
INTERSECT нету, попробуйте через JOIN?
источник

gm

galina malkh in ClickHouse не тормозит
join плохо.. надо 14 таких пересечений сделать
источник

DT

Dmitry Titov in ClickHouse не тормозит
galina malkh
join плохо.. надо 14 таких пересечений сделать
GROUP BY + HAVING?
источник

В

Владислав in ClickHouse не тормозит
Коллеги, помогите понять в какой лимит я уперся
2021.03.04 09:36:29.992342 [ 29430 ] {} <Error> DynamicQueryHandler: Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 27.61 GiB (attempt to allocate chunk of 4197660 bytes), maximum: 27.61 GiB, Stack trace (when copying this message, always include the lines below):

на хосте при этом свободно 28Gb из 32
источник

K

Kid in ClickHouse не тормозит
Владислав
Коллеги, помогите понять в какой лимит я уперся
2021.03.04 09:36:29.992342 [ 29430 ] {} <Error> DynamicQueryHandler: Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 27.61 GiB (attempt to allocate chunk of 4197660 bytes), maximum: 27.61 GiB, Stack trace (when copying this message, always include the lines below):

на хосте при этом свободно 28Gb из 32
наверно max_memory_usage
источник

В

Владислав in ClickHouse не тормозит
Kid
наверно max_memory_usage
Попробую, но непонятно почему на сервере память свободна в таком случае
источник

K

Kid in ClickHouse не тормозит
Владислав
Попробую, но непонятно почему на сервере память свободна в таком случае
так он наверно ее отпустил уже после падения?
источник

В

Владислав in ClickHouse не тормозит
На сервер приходит один запрос select 1
источник

K

Kid in ClickHouse не тормозит
да и вообще дело не в этом, дело в том что запрос который вы запустили взял данных в память больше, чем вы разрешили настройками в КХ.
источник

В

Владислав in ClickHouse не тормозит
Владислав
На сервер приходит один запрос select 1
Через idea, не через cli
источник

L

Lazoreth in ClickHouse не тормозит
Ребят, подскажите пожалуйста. Есть 2 запроса с джойнами:
SELECT toDate(sample_time)                             as date,
      uuid,
      any(instances.display_name)                     as instance_name,
      display_name,
      any(created_at),
      NULL                                            as network_id,
      NULL                                            as subnet_id,
      instance_uuid                                   as resource_uuid,
      type_name                                       as type_name,
      size_gb                                         as size,
      'volume'                                        as resource_type,
      round(sum(size) * (pow(2, 30) / pow(10, 9)), 4) as billing_value
FROM volumes
        ANY
        LEFT OUTER JOIN instances ON resource_uuid = instances.uuid
GROUP BY date, display_name, type_name, uuid, size_gb, instance_uuid;

Первый отрабатывает ок
SELECT toDate(sample_time)         as date,
      port_id                     as uuid,
      any(instances.display_name)      as instance_name,
      NULL                        as display_name,
      any(created_at),
      network_id,
      subnet_id,
      device_id                   as resource_uuid,
      NULL                        as type_name,
      NULL                        as size,
      'external_ip'               as resource_type,
      count(*)                    as billing_value
FROM external_ips
        ANY
        LEFT OUTER JOIN instances ON device_id = instances.uuid
GROUP BY date, uuid, network_id, subnet_id, device_id;

А второй выплёвывает ошибку вот такую
DB::Exception: Unknown identifier (in aggregate function 'any'): display_name (version 20.12.8.5 (official build))
Не могу понять, это я туплю, или баг какой. Если без any с группировкой делать - всё ок сеелектится
источник

L

Lazoreth in ClickHouse не тормозит
Просто у меня бывали уже случаи, когда кликхаус странные ошибки какие-то выдавал для запросов
источник

M

Mishanya in ClickHouse не тормозит
а если алиас добавить - тоже ошибка будет ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
SELECT toDate(sample_time)         as date,
      port_id                     as uuid,
      any(i.display_name)      as instance_name,
      NULL                        as display_name,
      any(created_at),
      network_id,
      subnet_id,
      device_id                   as resource_uuid,
      NULL                        as type_name,
      NULL                        as size,
      'external_ip'               as resource_type,
      count(*)                    as billing_value
FROM external_ips
        ANY
        LEFT OUTER JOIN instances as i  ON device_id = i.uuid
GROUP BY date, uuid, network_id, subnet_id, device_id;
источник

DT

Dmitry Titov in ClickHouse не тормозит
Если вы делаете JOIN по device_id = instances.uuid, то ключ uuid в GROUP BY относится к instances?
источник

L

Lazoreth in ClickHouse не тормозит
Dmitry Titov
Если вы делаете JOIN по device_id = instances.uuid, то ключ uuid в GROUP BY относится к instances?
Нет, он к изначальной таблице относится
источник

L

Lazoreth in ClickHouse не тормозит
Аллиас тоже не работает
источник

M

Mishanya in ClickHouse не тормозит
Lazoreth
Аллиас тоже не работает
а если убрать группировку и выбрать пару значений ? // для теста
возмжно кст created_at надо указать из какой таблицы
в какой из any() ошибка ?
источник

E

Evgeniy in ClickHouse не тормозит
Почему время не сдвигается с учетом таймзоны?
источник

S

Slach in ClickHouse не тормозит
Lazoreth
Ребят, подскажите пожалуйста. Есть 2 запроса с джойнами:
SELECT toDate(sample_time)                             as date,
      uuid,
      any(instances.display_name)                     as instance_name,
      display_name,
      any(created_at),
      NULL                                            as network_id,
      NULL                                            as subnet_id,
      instance_uuid                                   as resource_uuid,
      type_name                                       as type_name,
      size_gb                                         as size,
      'volume'                                        as resource_type,
      round(sum(size) * (pow(2, 30) / pow(10, 9)), 4) as billing_value
FROM volumes
        ANY
        LEFT OUTER JOIN instances ON resource_uuid = instances.uuid
GROUP BY date, display_name, type_name, uuid, size_gb, instance_uuid;

Первый отрабатывает ок
SELECT toDate(sample_time)         as date,
      port_id                     as uuid,
      any(instances.display_name)      as instance_name,
      NULL                        as display_name,
      any(created_at),
      network_id,
      subnet_id,
      device_id                   as resource_uuid,
      NULL                        as type_name,
      NULL                        as size,
      'external_ip'               as resource_type,
      count(*)                    as billing_value
FROM external_ips
        ANY
        LEFT OUTER JOIN instances ON device_id = instances.uuid
GROUP BY date, uuid, network_id, subnet_id, device_id;

А второй выплёвывает ошибку вот такую
DB::Exception: Unknown identifier (in aggregate function 'any'): display_name (version 20.12.8.5 (official build))
Не могу понять, это я туплю, или баг какой. Если без any с группировкой делать - всё ок сеелектится
EXLAIN SYNTAX
попробуйте если версия clickhouse позволяет
источник