В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу
2020 September 25

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman
Всем привет. Такой вопрос. Есть таблица Distibuted которая смотрит в разных реплики, на сколько  будет рациональнее вставлять данные в ReplicatedMergeTree, а не в Distibuted таблицу? Есть подозрение, что когда вставляешь в  Distibuted, то данные долетают очень долго и недоступны для Select какое то время.
конечно писать прямо в ReplicatedMergeTree намного эффективнее, в биг дата так и делаем.

в случае Distibuted оверхед по сети и cpu и insert-ы попадают сначала в Distibuted а потом она пересылает в Replicated
источник
19:23пожаловаться#1

R

Roman in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
конечно писать прямо в ReplicatedMergeTree намного эффективнее, в биг дата так и делаем.

в случае Distibuted оверхед по сети и cpu и insert-ы попадают сначала в Distibuted а потом она пересылает в Replicated
Спасибо. А ReplicatedMergeTree сама по остальным репликам разошлет? (может быть дичь спросил, еще только разбираюсь в теме)
источник
19:24пожаловаться#2

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman
Спасибо. А ReplicatedMergeTree сама по остальным репликам разошлет? (может быть дичь спросил, еще только разбираюсь в теме)
как раз только ReplicatedMergeTree и рассылает.

и в случае  Distibuted , Distibuted пишет в одну из реплик в ReplicatedMergeTree, а затем ReplicatedMergeTree рассылает.
источник
19:25пожаловаться#3

R

Roman in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
как раз только ReplicatedMergeTree и рассылает.

и в случае  Distibuted , Distibuted пишет в одну из реплик в ReplicatedMergeTree, а затем ReplicatedMergeTree рассылает.
Спасибо!
источник
19:26пожаловаться#4

kp

krn p in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так просто ничего вернется, на клиенте обрабатывать или через union all
хм, пасиба.
источник
19:31пожаловаться#5

GE

Grisha Egorov in ClickHouse не тормозит
Коллеги добрый день!
Никто в проде ClickHouse  c RabbitMQ не дружил? Как там с надежностью и с подводными камнями?
источник
19:52пожаловаться#6

M

Mishanya in ClickHouse не тормозит
Здравствуйте
Ребят, подскажите такой вопрос

у меня есть таблица - id, some_name, date с order by по id, somename и партициями по date

когда я делаю запрос типа select count() from my_table where date > some_date, то кликхаус считывает ВСЕ данные по этой таблицы, вместо кусочка по времени
в чем проблемка ?
источник
20:22пожаловаться#7

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
Здравствуйте
Ребят, подскажите такой вопрос

у меня есть таблица - id, some_name, date с order by по id, somename и партициями по date

когда я делаю запрос типа select count() from my_table where date > some_date, то кликхаус считывает ВСЕ данные по этой таблицы, вместо кусочка по времени
в чем проблемка ?
одна из черепашек гонит.


покажите свой partition by и как написан where на самом деле.
источник
20:25пожаловаться#8

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
одна из черепашек гонит.


покажите свой partition by и как написан where на самом деле.
PARTITION BY (toStartOfDay(toDate(created_at)), some_name)

запрос - where toStartOfDay(toDate(created_at)) >= toStartOfDay(toDate('2020-09-01'))
источник
20:26пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
PARTITION BY (toStartOfDay(toDate(created_at)), some_name)

запрос - where toStartOfDay(toDate(created_at)) >= toStartOfDay(toDate('2020-09-01'))
вот самая мякотка пошла  where toStartOfDay(toDate(created_at)) >= toStartOfDay(toDate('2020-09-01'))
источник
20:26пожаловаться#10

DC

Denny Crane [not a Y... in ClickHouse не тормозит
pruning работает не так
источник
20:27пожаловаться#11

M

Mishanya in ClickHouse не тормозит
буду благодарен за помощь в подсказке)
источник
20:27пожаловаться#12

DC

Denny Crane [not a Y... in ClickHouse не тормозит
where created_at >= toStartOfDay(toDate('2020-09-01')
источник
20:27пожаловаться#13

AP

Alex Pavlov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
where created_at >= toStartOfDay(toDate('2020-09-01')
Скобочка....
источник
20:28пожаловаться#14

DC

Denny Crane [not a Y... in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/issues/15255
источник
20:28пожаловаться#15

M

Mishanya in ClickHouse не тормозит
интересно, спасибо)
источник
20:30пожаловаться#16

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
интересно, спасибо)
https://stackoverflow.com/a/60155974/11644308
источник
20:31пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
прунинг не использует результат выражения PARTITION BY (toStartOfDay(toDate(created_at)), some_name) , оно вообще не хранится
источник
20:31пожаловаться#18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
в каждом парте есть мин и макс значения created_at
источник
20:32пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
поэтому для where created_at >= можно найти список партов легко
источник
20:32пожаловаться#20