В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3903 membersпожаловаться на группу
2020 May 13

C

Cargeh in ClickHouse не тормозит
Для супер-пупер быстрой вставки, есть смысл сортировать (в дополнение к группированию по партиции) по тем колонкам, которые указаны в PK и ORDER BY?

Или достаточно группировать батчи по ключу партиционирования и кликхаус все быстро посортирует сам?

@den_crane
источник
15:46пожаловаться#1

A

Andrey in ClickHouse не тормозит
Cargeh
Для супер-пупер быстрой вставки, есть смысл сортировать (в дополнение к группированию по партиции) по тем колонкам, которые указаны в PK и ORDER BY?

Или достаточно группировать батчи по ключу партиционирования и кликхаус все быстро посортирует сам?

@den_crane
Есть. И сортировать и лить на каждый шард отдельно.
источник
15:48пожаловаться#2

DM

Denis Mitin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нет не поддерживается. Берите 19.17 последнюю как минимум
спасибо!
источник
15:55пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
Для супер-пупер быстрой вставки, есть смысл сортировать (в дополнение к группированию по партиции) по тем колонкам, которые указаны в PK и ORDER BY?

Или достаточно группировать батчи по ключу партиционирования и кликхаус все быстро посортирует сам?

@den_crane
второе

я спрашивал это у АлексеяМ, он ответил что смысла нет и они не сортируют в Я, потому что КХ сортирует эффективнее и быстрее чем мы на клиенте.
Но вообще КХ понимает что отсортировано как надо и делает шорткаты.
источник
16:07пожаловаться#4

Я

Ярослав in ClickHouse не тормозит
Добрый день! Есть ли у КХ какая-то функция для того чтобы транспонировать результат выполненного запроса?
источник
16:08пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ярослав
Добрый день! Есть ли у КХ какая-то функция для того чтобы транспонировать результат выполненного запроса?
и да и нет. И вообще в какую сторону транспонируем?
источник
16:09пожаловаться#6

Я

Ярослав in ClickHouse не тормозит
по лучается, что нужно чтобы названия столбцов были самой левой колонкой
источник
16:10пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
select 1 A, 2 B \G

SELECT
    1 AS A,
    2 AS B

Row 1:
──────
A: 1
B: 2
источник
16:13пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
format Vertical
зачем это?
источник
16:13пожаловаться#9

DC

Denny Crane (I don't... in ClickHouse не тормозит
SELECT arrayJoin([1, 2])

┌─arrayJoin([1, 2])─┐
│                 1 │
│                 2 │
└───────────────────┘
источник
16:14пожаловаться#10

YF

Yuri Fal in ClickHouse не тормозит
Дмитрий Негреев
А вы не пробовали таблошный left/right настроить? Чтоб в клике работал
можно использовать MID([string_field], 1, N)
источник
16:19пожаловаться#11

Я

Ярослав in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
SELECT arrayJoin([1, 2])

┌─arrayJoin([1, 2])─┐
│                 1 │
│                 2 │
└───────────────────┘
Спасибо, попробую эти варианты
источник
16:22пожаловаться#12

ДН

Дмитрий Негреев... in ClickHouse не тормозит
Yuri Fal
можно использовать MID([string_field], 1, N)
Работает, спасибо!
источник
16:26пожаловаться#13

C

Cargeh in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
второе

я спрашивал это у АлексеяМ, он ответил что смысла нет и они не сортируют в Я, потому что КХ сортирует эффективнее и быстрее чем мы на клиенте.
Но вообще КХ понимает что отсортировано как надо и делает шорткаты.
То, что кликхаусу приходится сортировать колонки с order by - не может быть причиной замедленных мержей?

Вставляем пачками по 200к, точно в одну партицию за раз, точно не чаще чем раз в секунду

И все равно упираемся в то, что мержи не успевают за инсертами.

одно из предположений - что орсортировав данные заранее, мержи будут происходить быстрее
источник
16:29пожаловаться#14

C

Cargeh in ClickHouse не тормозит
стоит ли пробовать или вряд ли в этом проблема? Хочется понять
источник
16:29пожаловаться#15

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
То, что кликхаусу приходится сортировать колонки с order by - не может быть причиной замедленных мержей?

Вставляем пачками по 200к, точно в одну партицию за раз, точно не чаще чем раз в секунду

И все равно упираемся в то, что мержи не успевают за инсертами.

одно из предположений - что орсортировав данные заранее, мержи будут происходить быстрее
не может. Сортирует инсерт в памяти.
Мержи объединяют -- слияют отсортированные куски -- не сортрируют.

>И все равно упираемся в то, что мержи не успевают за инсертами.
Причин может быть множество, например мало свободного места на диске. Слишком мало информации чтобы угадать.
Попробую угадать: у вас суперинстанс в AWS с кучей NVME и CPU и памяти и слишком маленькое (дефолтное) число background pool =16
источник
16:33пожаловаться#16

C

Cargeh in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
не может. Сортирует инсерт в памяти.
Мержи объединяют -- слияют отсортированные куски -- не сортрируют.

>И все равно упираемся в то, что мержи не успевают за инсертами.
Причин может быть множество, например мало свободного места на диске. Слишком мало информации чтобы угадать.
Попробую угадать: у вас суперинстанс в AWS с кучей NVME и CPU и памяти и слишком маленькое (дефолтное) число background pool =16
Ох, по больному.. Что там крутится - хз, но кликхаус настолько вряд ли кто-то тюнил, скорей просто памяти дал да еще чего тривиального. Ладно, спасибо, тогда не будем тратить время :)
источник
16:35пожаловаться#17

DC

Denny Crane (I don't... in ClickHouse не тормозит
А еще например задумчивая реплика может вызывать too many parts
А возможно вам 300 надо на 900 поменять, не угадать
источник
16:35пожаловаться#18

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, а подскажите плз с какой версии в кх доступен sql user management?
источник
16:48пожаловаться#19

l

lnuynxa in ClickHouse не тормозит
20.4 точно есть, но вроде бы добавили в 20.3
источник
16:50пожаловаться#20