Size: a a a

ClickHouse не тормозит

2020 September 02

A

Anton in ClickHouse не тормозит
Насколько понял из документации, если запись будет завершена с ошибкой, то таблица будет повреждена и надо будет пересоздавать.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Anton
Подскажите, если надо хранить логи, то лучше брать тип движка таблицы - Logs или можно оставить mergetree?
А что за логи?
А так скорее всего движок Log вам не нужен.
источник

A

Anton in ClickHouse не тормозит
Логи идут с устройств для понимания работы сервисов.
источник

A

Anton in ClickHouse не тормозит
формат единый.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Пользуйтесь MergeTree
источник

D

Dj in ClickHouse не тормозит
Anton
Подскажите, если надо хранить логи, то лучше брать тип движка таблицы - Logs или можно оставить mergetree?
Logs - внезапно не для логов, а для простой вставки когда не нужны сортировки и все данные дописываются в конец файла ) т.е. лог - по сути файл на колонку куда всегда дописываются данные...
источник

O

Orlan in ClickHouse не тормозит
Dmitry Titov
SELECT arrayMap((x,y) -> arrayReduce('groupArrayInsertAt(0,3)',[x],[toUInt32(y-1)]), [1,1,1], arrayEnumerate([1,1,1]));
Но можно думаю лучше сделать

SELECT [1,1,1] as arr, range(0,3) as arr2, groupArrayInsertAtResampleArray(0,3,0,3,1)(arr,arr2,arr2);
спасибо
источник

M

Mishanya in ClickHouse не тормозит
Гайз, а можно ли с модификатором WITH TOTALS посчитать так же средний результат ?

У группироввке содержится такого рода значения

my_v | avg_res | sum_col
1           10           30
2           12           50
….
totals
-  | sum(avg_res/ count) | sum(sum_col)
источник

A

Anton in ClickHouse не тормозит
@dj_mixer @unamedrus Спасибо!
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
Гайз, а можно ли с модификатором WITH TOTALS посчитать так же средний результат ?

У группироввке содержится такого рода значения

my_v | avg_res | sum_col
1           10           30
2           12           50
….
totals
-  | sum(avg_res/ count) | sum(sum_col)
тоталс  вроде и так считает все колонки кроме GROUP BY
источник

M

Mishanya in ClickHouse не тормозит
Dmitry Titov
тоталс  вроде и так считает все колонки кроме GROUP BY
так он считает сумму всех значений
а у меня есть колонка, которая содержит среднее значение по ключу группировки и просто сумму
по итогу я бы хотел, что бы в тотале содержалась не только сумма, а среднее значение этих средних сумм)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
так он считает сумму всех значений
а у меня есть колонка, которая содержит среднее значение по ключу группировки и просто сумму
по итогу я бы хотел, что бы в тотале содержалась не только сумма, а среднее значение этих средних сумм)
А, ну это уже скорее всего руками делать
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Artem Bochkov
Коллеги, добрый день!
>Estimated query execution time (53900.3476949325446 seconds) is too long. Maximum: 240. Estimated rows to process: 1965022
Очевидно, про оценку он врет. Вопрос: где можно задать max_execution_time отличный от 240?
SELECT * FROM system.settings where value='240';
0 rows in set. Elapsed: 0.003 sec.
Настройка для текущего settings profile: либо в users.xml, либо файлик в директории users.d.

Для сессии можно настроить так:
SET max_execution_time 1200

Указывается в секундах
источник

IP

Ivan V. Protchenko in ClickHouse не тормозит
Здравствуйте подскажите как селектнуть строки где есть \
источник

IP

Ivan V. Protchenko in ClickHouse не тормозит
like '%\\%' невыдает результатов
источник

G

Gleb in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
файлик надо создать, имя любое, перегружать не надо

я называю файлик memory_usage.xml
cat /etc/clickhouse-server/conf.d/memory_usage.xml
<?xml version="1.0" ?>
<yandex>
   <profiles>
       <default>
           <max_memory_usage>31562137600</max_memory_usage>
           <max_memory_usage_for_all_queries>31562137600</max_memory_usage_for_all_queries>
           <max_bytes_before_external_group_by>17674797056</max_bytes_before_external_group_by>
           <max_bytes_before_external_sort>17674797056</max_bytes_before_external_sort>
       </default>
   </profiles>
</yandex>
max_memory_usage_for_all_queries

Подскажите не нашёл этого в документации?
источник

D

Dj in ClickHouse не тормозит
вопрос на миллион.

мердженджин овер дистрибютед* овер локальные таблицы
или
один дистрибютед овер мердженджин* на локальных хостах

(вставку не делаем, исключительно для селектов)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Я бы сказал Distributed OVER Merge, но не сравнивал
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Dj
вопрос на миллион.

мердженджин овер дистрибютед* овер локальные таблицы
или
один дистрибютед овер мердженджин* на локальных хостах

(вставку не делаем, исключительно для селектов)
Используем 2-й вариант.
Про 1-й ничего не могу сказать
источник

DT

Dmitry Titov in ClickHouse не тормозит
Merge таблица параллельно выполняется, так что лучше наверное что бы это на шардах досчитывалось
источник