В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4692 membersпожаловаться на группу
2021 January 17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вячеслав Владимиров
это да. А тут речь про одну-две записи? ТОгда согласен.  А так поле с datetime первым в перечне полей сортировки на таблице и должен отфильтровать. Нет?
>А так поле с datetime первым в перечне полей сортировки на таблице и должен отфильтровать
это большая ошибка для любой базы.
индекс должен быть order by (userId, time), для запроса where userId=хх  order by desc
источник
20:49пожаловаться#1

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
дада, user, time, вы правы, забыл его
источник
20:50пожаловаться#2

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Проблема с КХ в том что индекс разреженный и будет прочитано записей больше чем нужно, потому что индекс указывает на гранулу в которой 8192 записей
источник
20:51пожаловаться#3

DC

Denny Crane [not a Y... in ClickHouse не тормозит
скорее всего будет обработано минимум 2 гранулы
источник
20:51пожаловаться#4

DC

Denny Crane [not a Y... in ClickHouse не тормозит
другая проблема что файлы .mrk (засечки) будут загружены все из партов, которые запрунены
источник
20:52пожаловаться#5

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и получается что mysql дает 10krps , и читает 1кб на запрос, а КХ дает 500rps и читает 60кб на запрос
источник
20:53пожаловаться#6

DC

Denny Crane [not a Y... in ClickHouse не тормозит
вот к примеру https://gist.github.com/den-crane/1f3143176c4333530ab6f73c3518adcb
источник
20:54пожаловаться#7

DC

Denny Crane [not a Y... in ClickHouse не тормозит
SETTINGS index_granularity = 64;
Elapsed: 1.655 sec. Processed 1.15 thousand rows, 123.55 KB
источник
20:54пожаловаться#8

ЮК

Юрий Кулаксыз... in ClickHouse не тормозит
Я понял, спасибо большое. Просто статистика просмотров в любом случае нужна и хотелось объединить в одном месте и хранение больших аналитических данных и использовать эту же таблицу для формирования рекомендаций
источник
20:55пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Юрий Кулаксыз
Я понял, спасибо большое. Просто статистика просмотров в любом случае нужна и хотелось объединить в одном месте и хранение больших аналитических данных и использовать эту же таблицу для формирования рекомендаций
пробовать вы конечно можете, но если у вас реальная биг дата, и надо реально много rps, то для таких точечных запросов КХ не подходит.
источник
20:56пожаловаться#10

ЮК

Юрий Кулаксыз... in ClickHouse не тормозит
Благодарю, буду разделять
источник
20:57пожаловаться#11

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
ну да, таким гранулятором (64) - это да
источник
21:14пожаловаться#12

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
запустил последний селект на своей базе ради интереса - база 30 гиг, а марков 100Мб
источник
21:15пожаловаться#13

DC

Denny Crane [not a Y... in ClickHouse не тормозит
хм база 30ГБ ? У меня пользователи лежат в кластере кассандры с 50 нодами и 2 TB диска в каждой ноде.
источник
21:19пожаловаться#14

AS

Alexey Skakun in ClickHouse не тормозит
Подскажите пожалуйста. Верно понимаю, что delete данных если ну очень нужно по какому-то признаку (не по PK) возможен в CH?
источник
21:19пожаловаться#15

VN

Viacheslav Nefedov in ClickHouse не тормозит
Alexey Skakun
Подскажите пожалуйста. Верно понимаю, что delete данных если ну очень нужно по какому-то признаку (не по PK) возможен в CH?
да
источник
21:20пожаловаться#16

AS

Alexey Skakun in ClickHouse не тормозит
Viacheslav Nefedov
да
Спасибо за подтверждение, просто засомневался, что не будет потом поломок в данных
источник
21:21пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Skakun
Подскажите пожалуйста. Верно понимаю, что delete данных если ну очень нужно по какому-то признаку (не по PK) возможен в CH?
да, но КХ полностью перезаписывает парт(ы) без удаленных записей, если не повезло и записи с такими значениями парт. ключей будут в партах объемом 1ТБ, то КХ прочитает , распакует, запакует и запишет 1 TБ чтобы удалить 1 запись
источник
21:22пожаловаться#18

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
хм база 30ГБ ? У меня пользователи лежат в кластере кассандры с 50 нодами и 2 TB диска в каждой ноде.
Мы только начинаем. И у меня сразу запись в суммаримерж
источник
21:22пожаловаться#19

AS

Alexey Skakun in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да, но КХ полностью перезаписывает парт(ы) без удаленных записей, если не повезло и записи с такими значениями парт. ключей будут в партах объемом 1ТБ, то КХ прочитает , распакует, запакует и запишет 1 TБ чтобы удалить 1 запись
ок. Спасибо за пояснение. Поидее у меня удаление будет идти в пределах одного парта (так как бью по месяцам) и нужно удалить 1К-100К записей в пределах одного парта, но по определенному признаку. Такое случается раз в 2-3 месяца, а то и режже.
источник
21:25пожаловаться#20