Size: a a a

ClickHouse не тормозит

2021 February 14

AT

Alexander T in ClickHouse не тормозит
Required Optional
линейная функция это a*x+b*y+c=0 все функции, которые не могут представлены так с выбором параметров a b c нелинейные, например x^2. Одно из главных свойств линейности - вы можете применить на разных подмножествах, а потом применить функцию на результаты этих подмножеств и результат будет верен на объедении этих подмножеств. Для нелинейных функций это не верно.
Пример линейной функции - сумма если возьмем множество 1 2 3 4 5  то сумма(сумма(1,2),сумма(3,4,5)=сумма(1,2,3,4,5)
Пример нелинейной функции - среднее: среднее(среднее(1,2),среднее(3,4,5)) != среднее(1,2,3,4,5) так как 3,75!=3
простите, но ax+by+c=0 не функция, а уравнение.
источник

H

Hello in ClickHouse не тормозит
есть задача периодически реконсилировать движения по счетам с остатками по счетам путём расчёта суммы накопленным итогом

посоветуйте, пожалуйста, высокопроизводительный метод в ClickHouse
источник

VR

Vlad Radionov in ClickHouse не тормозит
Alexander T
простите, но ax+by+c=0 не функция, а уравнение.
y = (- ax - c) / b
а в таком виде?)
источник
2021 February 15

RO

Required Optional in ClickHouse не тормозит
Alexander T
простите, но ax+by+c=0 не функция, а уравнение.
Есть два способа задания функции - явный типа y=f(x)  и неявный f(x, y(x))=0. В первом случае трудно описать вариант когда b=0 :) а в неявном пожалуйста ax+c=0
источник

r

rasstroen in ClickHouse не тормозит
Подскажите, обновляться с 20.4 до 21 сразу - ок?
источник

S

Slach in ClickHouse не тормозит
Michael M
со строками другая проблема будет: на терминале или в разных клиентах эти строки из последовательности байт будут отображаться очень причудливо. терминал попортят, например...
с каких пор пароль это именно последовательность байт вообще?
это user input с клавиатуры...
храни его в utf-8 строке...
у тебя тебя такой UI control что не может utf-8 only input сделать?
текстовый ASCII терминал? в 2021 году?
ну обрезай пароль до первых 127 символов ASCII таблицы...
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Hello
есть задача периодически реконсилировать движения по счетам с остатками по счетам путём расчёта суммы накопленным итогом

посоветуйте, пожалуйста, высокопроизводительный метод в ClickHouse
Тут возникнет проблема негарантированности последовательности вставки, также приход событий задним числом сломает всё.
Мы ввели сущность фиксирования остатков - и дальше каждый раз расчитываем на лету, благо кх это может и быстро.
источник

S

Slach in ClickHouse не тормозит
Michael M
переписал на FexedString(32) . Но возник другой затык:

INSERT INTO users (id, password, email, ip4, ip6, created_time) VALUES (?, ?, ?, ?, ?, NOW())

выдаёт ошибку
block: expected 6 arguments (columns: id, password, email, ip4, ip6, created_time), got 5

NOW() почему-то не считается за аргумент. тут https://clickhouse.tech/docs/ru/sql-reference/statements/insert-into/ пишут, что вроде должен now() раьботать.
это уже clickhouse-go ошибка?

вообще now() в VALUES не очень хорошо пихать
парсер сбивается со streamable на AST и жрет память
источник

AT

Alexander T in ClickHouse не тормозит
Vlad Radionov
y = (- ax - c) / b
а в таком виде?)
В таком виде при b=0 это не функция.
источник

e

er@essbase.ru in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
им никто не пользуется, он полусырой

его запили китайские товарищи которые его используют для хранения системного каталога (таблиц /  партов), доку им просто лень писать
Собственно говоря у меня примерно такое же приложение . Нужно генерить витрины и прятать от пользователя физическую реализацию. А что ещё те товарищи хорошего сделали ?😉
источник

RO

Required Optional in ClickHouse не тормозит
Alexander T
В таком виде при b=0 это не функция.
Функция, описывающая прямую параллельную оси у проходящую через точку x=-c/a :). Ну вы можете мне, конечно же, не верить.
источник

В

Владимир in ClickHouse не тормозит
Я правильно понимаю что “ошибки” в зукипере вида:


Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x52ac zxid:0xd000031fd txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = BadVersion for /clickhouse/tables/01/{my_path}
Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x5241 zxid:0xd000031ca txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = NodeExists for /clickhouse/tables/01/{my_path}


это нормальное поведение в случае Replicated таблиц?
источник

l

lnuynxa in ClickHouse не тормозит
Владимир
Я правильно понимаю что “ошибки” в зукипере вида:


Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x52ac zxid:0xd000031fd txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = BadVersion for /clickhouse/tables/01/{my_path}
Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x5241 zxid:0xd000031ca txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = NodeExists for /clickhouse/tables/01/{my_path}


это нормальное поведение в случае Replicated таблиц?
user level, да
Встречаются при  нормальной эксплуатации
источник

В

Владимир in ClickHouse не тормозит
они не то что встречаются, а прям регулярно сыпятся
источник

В

Владимир in ClickHouse не тормозит
это настораживает
источник

АБ

Алексей Барнев... in ClickHouse не тормозит
Всем доброго времени суток! Подскажите пожалуйста по следующей проблеме, предположительно после того как завис zookeeper (1 из 3), в логах начали наблюдать следующее:
<Information> MergeTreePartsMover: Failed to swap 202102_926860_926860_0. Active part doesn't exist. Possible it was merged or mutated. Will remove copy on pa
th '/opt/clickhouse_cold/data/medtizer/logs_clicks/detached/202102_926860_926860_0/'.
2021.02.13 03:11:14.699872 [ 8639 ] {} <Information> MergeTreePartsMover: Failed to swap 202102_926861_926861_0. Active part doesn't exist. Possible it was merged or mutated. Will remove copy on pa
th '/opt/clickhouse_cold/data/medtizer/logs_clicks/detached/202102_926861_926861_0/'.
2021.02.13 03:11:16.529354 [ 8627 ] {} <Information> MergeTreePartsMover: Failed to swap 202102_926856_926856_0. Active part doesn't exist. Possible it was merged or mutated. Will remove copy on pa
th '/opt/clickhouse_cold/data/medtizer/logs_clicks/detached/202102_926856_926856_0/'.
2021.02.13 03:11:18.019111 [ 8635 ] {} <Information> MergeTreePartsMover: Failed to swap 202102_926862_926862_0. Active part doesn't exist. Possible it was merged or mutated. Will remove copy on pa
th '/opt/clickhouse_cold/data/medtizer/logs_clicks/detached/202102_926862_926862_0/'.
 - в таблицу logs_clicks/detached достаточно с большой скоростью накапливается большое количество мелких файлов, скоро закончатся иноды на диске, как исправить данную ситуацию? Зависший экземпляр zookeeper перезапустили, с другими таблицами данной проблемы нет
источник

HZ

Han Zaw in ClickHouse не тормозит
I think so
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Коллеги, понял, что у одной из таблиц неудачно выбран первичный ключ и решил её скопировать. Есть ли какой-то более быстрый способ чем INSERT INTO new_table SELECT * FROM old_table? Запустить несколько таких запросов с WHERE? Сейчас сервер расходует одно ядро и выдает меньше миллиона строк в секунду =(
источник

S

Slach in ClickHouse не тормозит
Konstantin Malanchev
Коллеги, понял, что у одной из таблиц неудачно выбран первичный ключ и решил её скопировать. Есть ли какой-то более быстрый способ чем INSERT INTO new_table SELECT * FROM old_table? Запустить несколько таких запросов с WHERE? Сейчас сервер расходует одно ядро и выдает меньше миллиона строк в секунду =(
да, WHERE
если у вас диск не занят

у вас там в SELECT ORDER BY случайно нет?
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Нет, у меня прям вот такой простой запрос
источник