Size: a a a

ClickHouse не тормозит

2020 July 27

АА

Алексей Артамонов... in ClickHouse не тормозит
Ребят, а есть способы бэкапа бд ? Как-то использовал скрипт с гитхаба, но он вроде матвью не бэкапил
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
А у кого-нибудь есть дока по алгоритму сортировки и мерджа? Очень хочется разобраться. Но код читать тяжеловато.
там куча алгоритмов в зависимости от типов полей необходимости внешней сорьировки и оптимизаций при наличии индекса
источник

M

Maxim Bogdanov in ClickHouse не тормозит
да основной то есть какой-то. Как и с устройством индекса, где описание всего умещается в несколько предложений.
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Алексей Артамонов
Ребят, а есть способы бэкапа бд ? Как-то использовал скрипт с гитхаба, но он вроде матвью не бэкапил
@den_crane может знаете?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
да основной то есть какой-то. Как и с устройством индекса, где описание всего умещается в несколько предложений.
Я думаю это будет 40 страниц мелким шрифтом. Непонятно что вы хотите
источник

M

Maxim Bogdanov in ClickHouse не тормозит
понять путь данных от вставки до записи на диск и потом до чтения при запросе
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Вопрос вообще мне не понятен. Мат.вью это обычная таблица. Если что не работает пишите issue автору.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
понять путь данных от вставки до записи на диск и потом до чтения при запросе
Ааа я думал вы про select order by.
источник

M

Maxim Bogdanov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Ааа я думал вы про select order by.
не, я про фундаментальные вещи типа блоков, частей
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
не, я про фундаментальные вещи типа блоков, частей
Видео зателепина смотрите
источник

M

Maxim Bogdanov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Видео зателепина смотрите
Спасибо загуглю
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
Спасибо загуглю
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
Спасибо загуглю
Есть пост на Хабре по докладу https://habr.com/ru/post/509540/
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Вопрос вообще мне не понятен. Мат.вью это обычная таблица. Если что не работает пишите issue автору.
@den_crane  в целом я хотел узнать альтернативу данному варианту :https://github.com/AlexAkulov/clickhouse-backup
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
В целом я не интересуюсь бекапом. Бекап 500 Тб долго работает.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
2020.07.27 17:10:19.859413 [ 198 ] {} <Fatal> BaseDaemon: ########################################
2020.07.27 17:10:19.859490 [ 198 ] {} <Fatal> BaseDaemon: (version 20.4.4.18 (official build)) (from thread 106) (query_id: f58d99fb-c4aa-4f1e-8e9e-055709d32e84) Received signal Segmentation fault (11).
2020.07.27 17:10:19.859515 [ 198 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
2020.07.27 17:10:19.859542 [ 198 ] {} <Fatal> BaseDaemon: Stack trace: 0xd50ed01 0xd50fafd 0xd50d720 0xd50d769 0xd50d769 0xd50a7a9 0xd50d09e 0xd4e2833 0xd236379 0xd2398ef 0xd23b272 0xd7e80fc 0xd26fd9a 0xd273582 0xd23902d 0xd409dc5 0xd54973c 0xd54d025 0x9106678 0x9107650 0x10304f4b 0x103053db 0x104b2fa6 0x104ae260 0x7f36107c16db 0x7f3610e9888f
репортить надо такое, это баг, с DDL таблиц
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
SELECT
   Date,
   SUM(Sent) AS AllSent,
   SUM(Opened) AS AllOpened,
   SUM(Clicked) AS AllClicked,
   SUM(Sent) > 0 AS UniqueSent,
   SUM(Opened) > 0 AS UniqueOpened,
   SUM(Clicked) > 0 AS UniqueClicked
FROM Events_Buffer AS t1 ANY INNER JOIN (
       SELECT
           MessageId,
           Identity,
           SUM(multiIf(Type = 'Sent', 1, 0)) AS Sent,
           SUM(multiIf(Type = 'Opened', 1, 0)) AS Opened,
           SUM(multiIf(Type = 'Clicked', 1, 0)) AS Clicked
           FROM Retention.Events_Local WHERE (Type IN ('Sent', 'Opened', 'Clicked')) AND (Realm = 'dating') AND (Date >= '2020-07-20') AND (Date <= '2020-07-27') AND (Channel IN ('electronicmail')) GROUP BY MessageId, Identity) AS t2
ON t2.MessageId = t1.MessageId AND t2.Identity = t1.Identity
WHERE (Type = 'Sent') AND (Date >= '2020-07-20') AND (Date <= '2020-07-27') GROUP BY Date, Identity, MessageId
ANY INNER JOIN -- ANY  кстати начиная с 20й версии работает по другому и схлапывает и левую таблицу, это надо переписывать на SEMI
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
Всем привет. Нужно КХ горизонтально масштабировать. Есть таблица  uint64 uint64 str. Есть ли какое-то оптимальное количество шардов на количество строк в такой таблице
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
1 трлн строк
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
Нужен доступ к этой таблице
источник