В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4033 membersпожаловаться на группу
2020 June 26

K

Kid in ClickHouse не тормозит
Alexander Petrov
Ответ ещё, наверное, зависит от того какие планы на результат запроса, может можно оптимальнее посчитать ответ на вопрос про который мы пока не знаем ни чего.
там дальше сложнее.
нужно найти только те строки, у которых свой евент, которые попадают в промежутки по времени между старт и конец и посчитать их, если там был новый евент.
источник
22:45пожаловаться#1

AP

Alexander Petrov in ClickHouse не тормозит
может это и проще
источник
22:46пожаловаться#2

AP

Alexander Petrov in ClickHouse не тормозит
вот это читали? https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/parametric-functions/
clickhouse.tech
Parametric | ClickHouse Documentation
Parametric Aggregate Functions Some aggregate functions can accept not only argument columns (used for compression), but
источник
22:46пожаловаться#3

K

Kid in ClickHouse не тормозит
Alexander Petrov
вот это читали? https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/parametric-functions/
clickhouse.tech
Parametric | ClickHouse Documentation
Parametric Aggregate Functions Some aggregate functions can accept not only argument columns (used for compression), but
угу
источник
22:47пожаловаться#4

BB

Bral Bral in ClickHouse не тормозит
@den_crane сегодня, по Вашей наводке, увеличил pool_size , изменил max_bytes_to_merge_at_max_space_in_pool, max_bytes_to_merge_at_min_space_in_pool. Мерджи сразу пошли, количество кусков упало с 3000 -> 1700 меньше чем за час.
источник
22:48пожаловаться#5

BB

Bral Bral in ClickHouse не тормозит
Плюс , вдобавок , настроил по https://clickhouse.tech/docs/ru/operations/tips/#cpu-scaling-governor
clickhouse.tech
Советы по эксплуатации | Документация ClickHouse
Советы по эксплуатации CPU Scaling Governor Всегда используйте performance scaling governor. ondemand scaling governor р
источник
22:49пожаловаться#6

K

Kid in ClickHouse не тормозит
Alexander Petrov
Ответ ещё, наверное, зависит от того какие планы на результат запроса, может можно оптимальнее посчитать ответ на вопрос про который мы пока не знаем ни чего.
вот пример данных
И задача такая
если последовательн отсортировать данные по времени, и в промежутках между StartImage и ImageComplete есть event_name =‘Hint’, то считать эту строку, и далее также их считать.
Но дальше идет грязь в данных, например может не быть ImageComplete, а опять встретиться StartImage
источник
22:50пожаловаться#7

AP

Alexander Petrov in ClickHouse не тормозит
Kid
вот пример данных
И задача такая
если последовательн отсортировать данные по времени, и в промежутках между StartImage и ImageComplete есть event_name =‘Hint’, то считать эту строку, и далее также их считать.
Но дальше идет грязь в данных, например может не быть ImageComplete, а опять встретиться StartImage
О, game аналитиков подвезли 😜
источник
22:52пожаловаться#8

K

Kid in ClickHouse не тормозит
Alexander Petrov
О, game аналитиков подвезли 😜
я не гейм аналитик)
источник
22:52пожаловаться#9

K

Kid in ClickHouse не тормозит
увидел интересную задачку)
источник
22:53пожаловаться#10

AP

Alexander Petrov in ClickHouse не тормозит
а что значит то считать эту строку, и далее также их считать.? Считать все hint'ы от начала до конца или считать все строки после hint до конца или считать все ситуации когда между началом и концом есть hint?
источник
22:55пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kid
вот пример данных
И задача такая
если последовательн отсортировать данные по времени, и в промежутках между StartImage и ImageComplete есть event_name =‘Hint’, то считать эту строку, и далее также их считать.
Но дальше идет грязь в данных, например может не быть ImageComplete, а опять встретиться StartImage
зависит конечно от кол-ва данных, можно посчитать в КХ все на массивах если на входе меньше скажем миллиарда строк, иначе надо готовить и чистить до КХ
источник
22:56пожаловаться#12

Y

Yan in ClickHouse не тормозит
добрый вечер!
вижу в логах постоянно сообщение
2020.06.26 19:59:11.897459 [ 10852 ] {} <Debug> DiskLocal: Reserving 1.00 MiB on disk `default`, having unreserved 164.52 GiB.

Не подскажите, это нормально?
источник
23:00пожаловаться#13

AP

Alexander Petrov in ClickHouse не тормозит
Судя по скрину,речь минимум про миллионы строк.
источник
23:04пожаловаться#14

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
добрый вечер!
вижу в логах постоянно сообщение
2020.06.26 19:59:11.897459 [ 10852 ] {} <Debug> DiskLocal: Reserving 1.00 MiB on disk `default`, having unreserved 164.52 GiB.

Не подскажите, это нормально?
да, это просто сообщение что инсерт резервирует место под парт
Debug -- это отладочное сообщение
источник
23:05пожаловаться#15

AP

Alexander Petrov in ClickHouse не тормозит
Это какие-то AB тесты по тысячам пользователей пораждающим тысячи событий
источник
23:05пожаловаться#16

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да, это просто сообщение что инсерт резервирует место под парт
Debug -- это отладочное сообщение
👍спасибо
источник
23:06пожаловаться#17
2020 June 27

K

Kid in ClickHouse не тормозит
Alexander Petrov
а что значит то считать эту строку, и далее также их считать.? Считать все hint'ы от начала до конца или считать все строки после hint до конца или считать все ситуации когда между началом и концом есть hint?
считать это count я имею ввиду
то есть count тех строк которые имеют евент хинт и он расположен между старт имейдж и имейдж комплит
источник
00:22пожаловаться#18

DT

Dmitry Titov in ClickHouse не тормозит
Kid
считать это count я имею ввиду
то есть count тех строк которые имеют евент хинт и он расположен между старт имейдж и имейдж комплит
но группировать то по каким признакам?
источник
00:25пожаловаться#19

DT

Dmitry Titov in ClickHouse не тормозит
по юзер айди?
А если на 1 юзер айди придет N периодов? start-end
источник
00:25пожаловаться#20