AG
Andrey Grigorian
Здравствуйте, коллеги.
КХ не использует вторичные индексы. Каждый раз идёт фуллскан базы
КХ не использует вторичные индексы. Каждый раз идёт фуллскан базы
Size: a a a
2021 January 21
AG
AG
подскажите, пожалуйста, куда копать?
VS
а вы как-то подкручивали сам кх? И чем ходите из бекенда в кх?
ВВ
Andrey Grigorian
Здравствуйте, коллеги.
КХ не использует вторичные индексы. Каждый раз идёт фуллскан базы
КХ не использует вторичные индексы. Каждый раз идёт фуллскан базы
индекс _packetDate смысла не имеет, т.к. у вас и так партиции по дате
ВВ
И можно сам селект сюда - скрин мелкий очень
AP
Andrey Grigorian
подскажите, пожалуйста, куда копать?
А какой индекс по вашему должен сработать?
TG
Vladyslav Sakun
а, я читал как раз недавно эту статью. Автор в ней пишет, что при select 1 запросе 13к достикает qps. Интересно, а это пик нагрузки? Если я, например, хочу получить хотя бы 30к qps, а лучше и все 50к, то это технически не возможно сделать?
VS
а, я читал как раз недавно эту статью. Автор в ней пишет, что при select 1 запросе 13к достикает qps. Интересно, а это пик нагрузки? Если я, например, хочу получить хотя бы 30к qps, а лучше и все 50к, то это технически не возможно сделать?
Думаю вопрос в железе, ну и плюс если это один сервер, то Вы всё равно упретесь в какой-то предел.
Где-то на хабре ещё читал, что если хотите чтобы СН обрабатывал больше запросов, сделайте кластер и балансируйте нагрузку на реплики.
Где-то на хабре ещё читал, что если хотите чтобы СН обрабатывал больше запросов, сделайте кластер и балансируйте нагрузку на реплики.
VS
а, я читал как раз недавно эту статью. Автор в ней пишет, что при select 1 запросе 13к достикает qps. Интересно, а это пик нагрузки? Если я, например, хочу получить хотя бы 30к qps, а лучше и все 50к, то это технически не возможно сделать?
Ну и в примере ребята "ходят" по хттп, по факту у меня по хттп перформанс реальных запросов был хуже из-за оверхеда хттп, по этому перешли на ТСР
ВВ
Надо добавить к where packetDate
ВВ
у вас packetDateTime
TG
Vladyslav Sakun
Ну и в примере ребята "ходят" по хттп, по факту у меня по хттп перформанс реальных запросов был хуже из-за оверхеда хттп, по этому перешли на ТСР
Если не ошибаюсь, то у меня в конечном итоге тоже через http идёт обращение
ВВ
а его в ни в индексе, ни в партиции
VS
Если не ошибаюсь, то у меня в конечном итоге тоже через http идёт обращение
Вот статья на хабре.
Там можно найти пункт про нагрузку
https://habr.com/ru/company/avito/blog/500678/
Там можно найти пункт про нагрузку
https://habr.com/ru/company/avito/blog/500678/
ВВ
вам бы знаете как думаю... packetDate можно даже убрать и сделать партиции = YYMMDD(packetDateTime)
по идее по inputface индекс должен работать по вашему примеру. Может из-за низкинх грянуляров не работает?
по идее по inputface индекс должен работать по вашему примеру. Может из-за низкинх грянуляров не работает?
TG
Vladyslav Sakun
Вот статья на хабре.
Там можно найти пункт про нагрузку
https://habr.com/ru/company/avito/blog/500678/
Там можно найти пункт про нагрузку
https://habr.com/ru/company/avito/blog/500678/
Благодарю
N
всем привет. А кто то делал стриминг данных из кафки в кликхаус средствами самого кликхауса ? Есть ли какие проблемы ?
https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/
https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/
M
возможные дубликаты, но уже давно их не было. больше 15ккк записей
D
Всем привет, подскажите как работает внешний справочник? Например я подключил справочник из постгри, там табличка из 1-3кк записей. КХ поидее раз в какое-то время обновляет этот справочник. Получается он каждый раз гоняет вообще все данные из таблицы, вытаскивает и все перезаписывает или как-то работает только с новыми данными и частично удаляет?
то, что вам ответили - не совсем правда.
можно обновлять словари частично используя update_field
можно обновлять словари частично используя update_field