Size: a a a

ClickHouse не тормозит

2020 July 31

SP

Sergey Polischouck in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Добавьте локально, поправьте SQL файл
хорошо, делаем, спасибо
источник

AK

Andron Ka in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
кмк это довольно много в мегабайтах, как у сервера с cpu, сильно нагружен? а сеть?
Извиняюсь, 15Мб трафика между контейнерами,
и КХ и Кафка в контейнерах на одном и том же сервере 32cores xeon
Сервер отдыхает по всем параметрам, atop тоже ничего не показывает
источник

AK

Andron Ka in ClickHouse не тормозит
кафка и КХ на разных дисках физических
источник

M

Muhin Dmitry in ClickHouse не тормозит
Коллеги, помогите пожалуйста:
хочу в КХ столбец создать минимальное по ввремени для конкретного ClientID
аналог оконной функции: min(dt) over (partition by clientID)

как сделать?
источник

M

Mishanya in ClickHouse не тормозит
Ребят, подскажиет, поможет ли тут асоф джоин ?
Мне нужно к левой таблице задджоинить ближайшее число, но по значению не больше чем левое

|my_string| |my_value1| 
qwe          10
asd          20


|my_string| |my_value2|
qwe           3
qwe           8
asd           19
asd           20
asd           25

|my_string| |my_value1| |my_value2|
qwe          10           8
asd          20           20
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andron Ka
Извиняюсь, 15Мб трафика между контейнерами,
и КХ и Кафка в контейнерах на одном и том же сервере 32cores xeon
Сервер отдыхает по всем параметрам, atop тоже ничего не показывает
а ок, а какая версия КХ ? и как задали kafka_max_block_size?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mishanya
Ребят, подскажиет, поможет ли тут асоф джоин ?
Мне нужно к левой таблице задджоинить ближайшее число, но по значению не больше чем левое

|my_string| |my_value1| 
qwe          10
asd          20


|my_string| |my_value2|
qwe           3
qwe           8
asd           19
asd           20
asd           25

|my_string| |my_value1| |my_value2|
qwe          10           8
asd          20           20
кажется да
источник

AK

Andron Ka in ClickHouse не тормозит
20.4.4.2 вроде; при создании таблицы задавалв settings
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Muhin Dmitry
Коллеги, помогите пожалуйста:
хочу в КХ столбец создать минимальное по ввремени для конкретного ClientID
аналог оконной функции: min(dt) over (partition by clientID)

как сделать?
в отдельной таблице? или у вас одна запись в таблице для одного clientID?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andron Ka
20.4.4.2 вроде; при создании таблицы задавалв settings
а увеличение kafka_num_consumers что-нибудь дает?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Muhin Dmitry
Коллеги, помогите пожалуйста:
хочу в КХ столбец создать минимальное по ввремени для конкретного ClientID
аналог оконной функции: min(dt) over (partition by clientID)

как сделать?
или речь про select ?
источник

yl

ye lyn in ClickHouse не тормозит
Oh ok I should refactor my code
источник

M

Muhin Dmitry in ClickHouse не тормозит
Идея в том,
мне нужно отсечь все события, которые были достигнуты до события достижения цели. (т.е. все события после цели не интересны)
Речь про select
источник

M

Muhin Dmitry in ClickHouse не тормозит
выше
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Muhin Dmitry
Идея в том,
мне нужно отсечь все события, которые были достигнуты до события достижения цели. (т.е. все события после цели не интересны)
Речь про select
вариантов много и having и argmin и на массивах, сделайте create / insert

типа такого

select uid, arrayFilter( x-> x.1 < arr.1[indexOf(arr.2, 'Y)] , (arraySort( x -> x.1, groupArray( tuple(ts,event) as arr) )  from 
events
group by uid
источник

AK

Andron Ka in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а увеличение kafka_num_consumers что-нибудь дает?
Раньше читал, что неверно работает этот параметр. Спасибо попробую — отпишусь. Я ранее читал что этот движок имеет пропускную около нескольких сотен К, ну буду копать глубже, позже отпишусь по результатам. Спасибо Denny Crane!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andron Ka
Раньше читал, что неверно работает этот параметр. Спасибо попробую — отпишусь. Я ранее читал что этот движок имеет пропускную около нескольких сотен К, ну буду копать глубже, позже отпишусь по результатам. Спасибо Denny Crane!
возможно вы уперлись в скорость парсинга json одним потоком
источник

AK

Andron Ka in ClickHouse не тормозит
спасибо за подсказку, думал avro ввести ... еще не успел. Наверно стоит попробовать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andron Ka
спасибо за подсказку, думал avro ввести ... еще не успел. Наверно стоит попробовать
вы попробуйте свои 100тыс json через файл вставить clickhouse-client -м в тестовую табличку
источник

AK

Andron Ka in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы попробуйте свои 100тыс json через файл вставить clickhouse-client -м в тестовую табличку
спасибо большое
источник