Телеграмм чат группы clickhouse_ru страница 9276

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу

2021 February 12

D

Dj in ClickHouse не тормозит

Коллеги, привет! Какой сейчас самый быстрый и простой способ скопировать стендалон инстанс кликхауса на другой хост? Нужно переехать с одного хоста на другой

если можно остановить то можно перенести папки data/metadata + users sql файлики

источник

12:36пожаловаться #1

NT

Nikita Tikhomirov in ClickHouse не тормозит

Добрый день, делаю запрос по типу:
SELECT UserID, COUNT(*) as c FROM Statistic GROUP BY UserID ORDER BY c DESC LIMIT 100;
Выдает

Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (for query) exceeded: would use 93.14 GiB (attempt to allocate chunk of 8323568 bytes), maximum: 93.13 GiB: While executing AggregatingTransform.

Есть ли варианты, как это можно пофиксить?

источник

12:41пожаловаться #2

D

Dj in ClickHouse не тормозит

Да ничего вроде, все по дефолту

ну проверьте в preprocessed_configs/config.xml
по умолчанию секция закомментирована полностью должна быть

источник

12:46пожаловаться #3

D

Dj in ClickHouse не тормозит

Nikita Tikhomirov

Добрый день, делаю запрос по типу:
SELECT UserID, COUNT(*) as c FROM Statistic GROUP BY UserID ORDER BY c DESC LIMIT 100;
Выдает

Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (for query) exceeded: would use 93.14 GiB (attempt to allocate chunk of 8323568 bytes), maximum: 93.13 GiB: While executing AggregatingTransform.

Есть ли варианты, как это можно пофиксить?

попробуйте спиллить на диск

SELECT UserID, COUNT(*) as c FROM Statistic GROUP BY UserID ORDER BY c DESC LIMIT 100
SETTINGS max_bytes_before_external_group_by=10000000000;

источник

12:48пожаловаться #4

NT

Nikita Tikhomirov in ClickHouse не тормозит

попробуйте спиллить на диск

SELECT UserID, COUNT(*) as c FROM Statistic GROUP BY UserID ORDER BY c DESC LIMIT 100
SETTINGS max_bytes_before_external_group_by=10000000000;

Сработало, спасибо, а можете подсказать, как правильно сделать MATERIALIZED VIEW, так как эта информация желательно, что бы обновлялась сама

источник

12:52пожаловаться #5

D

Dj in ClickHouse не тормозит

Nikita Tikhomirov

Сработало, спасибо, а можете подсказать, как правильно сделать MATERIALIZED VIEW, так как эта информация желательно, что бы обновлялась сама

https://www.youtube.com/watch?t=7596&v=1LVJ_WcLgF8
тут все поясняется что и как

ClickHouse: онлайн-встреча, 1 октября 2020

источник

13:03пожаловаться #6

NT

Nikita Tikhomirov in ClickHouse не тормозит

Thnx

источник

13:03пожаловаться #7

M

Mishanya in ClickHouse не тормозит

Здравствуйте! Подскажите, пожаулйста.

Есть такие конструкции

create view my_view as select…. которая возвращает одно число, create view calc_view as select col * my_view from some_table - будет ли во втором случае my_view вычисляться каждый раз для каждой строки, либо же лучше просто обернуть в with ? create view calc_view as with my_view as some_value select col * some_value from some_table

источник

13:31пожаловаться #8

I

Ilya in ClickHouse не тормозит

Подскажите как понять сколько ресурсов потребляет Materialised view?

источник

13:34пожаловаться #9

BN

Bedretdinov Nadir in ClickHouse не тормозит

query_thread_log - сожрал 120GB как можно ограничить логирование

источник

13:50пожаловаться #10

S

Slach in ClickHouse не тормозит

Подскажите как понять сколько ресурсов потребляет Materialised view?

SELECT * FROM system.query_log

MATERIALIZED VIEW это триггер который работает с блоком данных который вставляется в таблицу которая в SELECT .. FROM указана

источник

13:51пожаловаться #11

D

Dj in ClickHouse не тормозит

Bedretdinov Nadir

query_thread_log - сожрал 120GB как можно ограничить логирование

типа этого
https://t.me/clickhouse_ru/201620

Denny Crane [Junior support specialist at Altinity (NB,Canada)] in ClickHouse не тормозит

и я бы конечно делал дневные партиции и ttl_only_drop_parts

<query_log>
<database>system</database>
<table>query_log</table>
<engine>ENGINE = MergeTree PARTITION BY (event_date) ORDER BY (event_time) TTL event_date + 1 day SETTINGS ttl_only_drop_parts=1 </engine>
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

источник

13:51пожаловаться #12

S

Slach in ClickHouse не тормозит

Bedretdinov Nadir

query_thread_log - сожрал 120GB как можно ограничить логирование

ENGINE переопределите
/etc/clickhouse-server/config.d/query_thread_log.xml

<yandex>
<query_thread_log>
    <database>system</database>
    <table>query_thread_log</table>
    <partition_by>toMonday(event_date)</partition_by>
     <engine>Engine = MergeTree PARTITION BY event_date ORDER BY event_time TTL event_date + INTERVAL 7 DAY</engine>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_thread_log>
</yandex>

после этого отредактируйте
/var/lib/clickhouse/medata/system/query_thread_log.sql
и добавьте TTL там
после этого рестартуйте сервер

источник

13:54пожаловаться #13

BN

Bedretdinov Nadir in ClickHouse не тормозит

image_2021-02-12_13-55-58.png

А таблицу то как почистить ) ?

источник

13:55пожаловаться #14

L

L-dar in ClickHouse не тормозит

Всем привет. Почему не работает агрегатная функция groupArray(DISTINCT x), в доке написано, в кликхаусе говорит нет такого

источник

13:56пожаловаться #15

S

Slach in ClickHouse не тормозит

Bedretdinov Nadir

image_2021-02-12_13-55-58.png

А таблицу то как почистить ) ?

ALTER TABLE ... DELETE WHERE ...
или
TRUNCATE TABLE
если вы этими данными не пользуетесь

источник

13:56пожаловаться #16

BN

Bedretdinov Nadir in ClickHouse не тормозит

Bedretdinov Nadir

image_2021-02-12_13-55-58.png

А таблицу то как почистить ) ?

Так вот выдает ошыбку не дает почистить

источник

13:57пожаловаться #17

BN

Bedretdinov Nadir in ClickHouse не тормозит

image_2021-02-12_14-00-29.png

Если через катсоль дропнуть файл таблицы ничего не сломаеться ?

источник

14:00пожаловаться #18

AK

Anton Khokhrin in ClickHouse не тормозит

Bedretdinov Nadir

Так вот выдает ошыбку не дает почистить

Ну вам же сообщение говорит, что мешает.
Поправьте настройку или файл

источник

14:01пожаловаться #19

S

Slach in ClickHouse не тормозит

Bedretdinov Nadir

Так вот выдает ошыбку не дает почистить

ну так прочитайте что в ошибке написано

чтобы не грохнули данные важные случайно

TRUNCATE TABLE system.query_thread_log SETINGS max_table_size_to_drop=0
сделайте если не пользуетесь данными

источник

14:02пожаловаться #20