В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу
2021 February 05

s

serge in ClickHouse не тормозит
Всем привет!
У меня есть таблица с одним полем по которой нужно проверять входит поле в этот список или нет.
Как этот фукционал лучше реализовать?
Eсть ли Replicated Join Engine?
источник
16:35пожаловаться#1

S

Slach in ClickHouse не тормозит
Lazoreth
Если логически подумать - можно вообще выкинуть count(*) и просто писать еденицу. По идее работать должно
нет, если прилетит в разных INSERT одинаковый toDate() +port_id
то у вас будет 2
а автор хочет чтобы было 1?

или что?
источник
16:35пожаловаться#2

S

Slach in ClickHouse не тормозит
serge
Всем привет!
У меня есть таблица с одним полем по которой нужно проверять входит поле в этот список или нет.
Как этот фукционал лучше реализовать?
Eсть ли Replicated Join Engine?
почитайте про CREATE DICTIONARY и dictGet
источник
16:36пожаловаться#3

s

serge in ClickHouse не тормозит
Slach
почитайте про CREATE DICTIONARY и dictGet
это уже в проде ))
список большой не хочется его в память грузить
источник
16:37пожаловаться#4

L

Lazoreth in ClickHouse не тормозит
Slach
нет, если прилетит в разных INSERT одинаковый toDate() +port_id
то у вас будет 2
а автор хочет чтобы было 1?

или что?
В исходную таблицу каждую минуту делается запись с datetime штампом. Изза избыточности у нас в исходной таблице на какой-то срок может возникнуть 5 одинаковых записей. Которые потом исходной таблицей сожмутся в одну. Вот мне нужна одна, что бы я в другой таблице просуммировал колличество таких записей после сжатия за сутки
источник
16:39пожаловаться#5

L

Lazoreth in ClickHouse не тормозит
А, ну да. Колличество инсертов ведь всё равно >1
источник
16:40пожаловаться#6

AB

Artur Beglaryan in ClickHouse не тормозит
Lazoreth
В исходную таблицу каждую минуту делается запись с datetime штампом. Изза избыточности у нас в исходной таблице на какой-то срок может возникнуть 5 одинаковых записей. Которые потом исходной таблицей сожмутся в одну. Вот мне нужна одна, что бы я в другой таблице просуммировал колличество таких записей после сжатия за сутки
У вас там в МатВью не должно быть ORDER BY (date, uuid, ip_address) ?
источник
16:41пожаловаться#7

L

Lazoreth in ClickHouse не тормозит
Artur Beglaryan
У вас там в МатВью не должно быть ORDER BY (date, uuid, ip_address) ?
Я команду косо обрезал при копипасте, там по факту полей сильно больше
источник
16:41пожаловаться#8

S

Slach in ClickHouse не тормозит
serge
это уже в проде ))
список большой не хочется его в память грузить
большой это сколько?
И какого типа поле...
словарь на миллион элементов UInt64 в памяти будет занимать 10 мегабайт
источник
16:42пожаловаться#9

AB

Artur Beglaryan in ClickHouse не тормозит
Lazoreth
Я команду косо обрезал при копипасте, там по факту полей сильно больше
Вам только AggregatingMergeTree поможет мне кажется.
источник
16:44пожаловаться#10

L

Lazoreth in ClickHouse не тормозит
Artur Beglaryan
Вам только AggregatingMergeTree поможет мне кажется.
Да, очень похоже на то
источник
16:45пожаловаться#11

AB

Artur Beglaryan in ClickHouse не тормозит
Lazoreth
Да, очень похоже на то
Вам надо чтобы за день была максимум одна запись?
источник
16:46пожаловаться#12

S

Slach in ClickHouse не тормозит
Lazoreth
А, ну да. Колличество инсертов ведь всё равно >1
обычная SummingMergeTree
без MATVIEW
и crontab раз в сутки
в котором будет
INSERT INTO summing_table ... SELECT ... FROM main_table FINAL WHERE toDate(date)=toDate(now()) GROUP BY ...
источник
16:46пожаловаться#13

L

Lazoreth in ClickHouse не тормозит
Artur Beglaryan
Вам надо чтобы за день была максимум одна запись?
Мне нужно колличество записей в исходной таблице за сутки
источник
16:46пожаловаться#14

L

Lazoreth in ClickHouse не тормозит
Я просто до последнего надеялся избежать запуска каких-то записей по расписанию
источник
16:47пожаловаться#15

L

Lazoreth in ClickHouse не тормозит
Но видимо никак
источник
16:47пожаловаться#16

AB

Artur Beglaryan in ClickHouse не тормозит
Lazoreth
Мне нужно колличество записей в исходной таблице за сутки
Тогда предыдущее сообщение или AggregatingMergeTree
источник
16:47пожаловаться#17

L

Lazoreth in ClickHouse не тормозит
Ладно. Большое спасибо за помощь
источник
16:48пожаловаться#18

s

serge in ClickHouse не тормозит
Slach
большой это сколько?
И какого типа поле...
словарь на миллион элементов UInt64 в памяти будет занимать 10 мегабайт
Спасибо! сейчас 50M записей
Такой размер устраивает! попробую словарь из одного поля собрать
источник
16:48пожаловаться#19

S

Slach in ClickHouse не тормозит
serge
Спасибо! сейчас 50M записей
Такой размер устраивает! попробую словарь из одного поля собрать
ну и фильтровать соответсвенно
SELECT ... WHERE dictGetOrDefault('db.dict','attribute',tuple(your_field),0) = 0
источник
16:53пожаловаться#20