Size: a a a

ClickHouse не тормозит

2021 February 17

DT

Dmitry Titov in ClickHouse не тормозит
Artur Chobanyan
Только вот есть разница, делать это в приложении добавлят сложности, а можно отдать это все дело кафке и не парится
> Делаете один топик и все шарды как одну группу подключаете через кафка энджин, кафка сама разрулит

Значит шардирование будет по рандому, и определенный user_id ляжет в случайный шард, куда его кафка понесет. Такое подходит не везде
источник

AC

Artur Chobanyan in ClickHouse не тормозит
Dmitry Titov
Если речь идет о шардировании не по рандому, то все равно это нужно где то делать.
Вы отредактировали свое сообщение, если не по рандому, тогда да
источник

DT

Dmitry Titov in ClickHouse не тормозит
Да, уточнил, тк в случае рандома постановка такого вопроса смысла не имела бы :)
источник

VR

Vladimir Rudev in ClickHouse не тормозит
Никто не встречал такого в system.replication_queue?
Code: 234, e.displayText() = DB::Exception: Not found part 20201221_49_49_0 (or part covering it) neither source table neither remote replicas (version 20.8.12.2 (official build))

Запись висит и не удаляется.
Бутстрапили новую ноду в шард, вроде все высосала, но replication_queue в 0 не падает из-за таких записей.
источник

D

Dj in ClickHouse не тормозит
Vladimir Rudev
Никто не встречал такого в system.replication_queue?
Code: 234, e.displayText() = DB::Exception: Not found part 20201221_49_49_0 (or part covering it) neither source table neither remote replicas (version 20.8.12.2 (official build))

Запись висит и не удаляется.
Бутстрапили новую ноду в шард, вроде все высосала, но replication_queue в 0 не падает из-за таких записей.
может парт удалился в другой реплике по ТТЛ (или дропу)
если парт не нужен, можете почистить
https://t.me/clickhouse_ru/170010
источник

VR

Vladimir Rudev in ClickHouse не тормозит
Благодарю
источник

L

Lesha in ClickHouse не тормозит
Добрый день. Столкнулся с проблемой что запросом не получается распарсить json
{"test": "1", "arr": [{"id": "1", "title": ""}]}
SELECT * FROM file('test.json', 'JSONEachRow', 'test String, arr Array(Tuple(id String, title String))')
Ошибка: Unknown field found while parsing JSONEachRow format: arr

Также пробовал вместо  Tuple использовать Nested    -  ошибка Array does not start with '[' character: (while reading the value of key arr)

Буду очень принателен помощи
источник

BK

Bogdan Kurnosov in ClickHouse не тормозит
всем привет
подскажите пожалуйста как в кликхаусе сформировать подобный результат

надо чтобы значения были в отдельных колонках, чтобы потом на базе этого можно было построить график
источник

MF

Mark Frost in ClickHouse не тормозит
Всем привет. Подскажите, пожалуйста, на что влияет GRANULARITY в индексе и как правильно его выбрать?
источник

l

lnuynxa in ClickHouse не тормозит
Mark Frost
Всем привет. Подскажите, пожалуйста, на что влияет GRANULARITY в индексе и как правильно его выбрать?
Сколько обычных гранул (8192 строки по дефолту) приходится на одну засечку индекса
источник

l

lnuynxa in ClickHouse не тормозит
в целом обычно разумные числа до 10
источник

MF

Mark Frost in ClickHouse не тормозит
lnuynxa
Сколько обычных гранул (8192 строки по дефолту) приходится на одну засечку индекса
например если я делаю индекс на visitor_id (уникальный для каждого юзера) и ~ 20млн юзеров, то сколько GRANULARITY я должен выставить?
источник

l

lnuynxa in ClickHouse не тормозит
Bogdan Kurnosov
всем привет
подскажите пожалуйста как в кликхаусе сформировать подобный результат

надо чтобы значения были в отдельных колонках, чтобы потом на базе этого можно было построить график
sumIf(value,date='2020-10-10')
источник

BK

Bogdan Kurnosov in ClickHouse не тормозит
lnuynxa
sumIf(value,date='2020-10-10')
топчик, помогло, спасибо
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Mark Frost
например если я делаю индекс на visitor_id (уникальный для каждого юзера) и ~ 20млн юзеров, то сколько GRANULARITY я должен выставить?
Имейте в виду, что уменьшение гранулярности ведёт к увеличению размера индекса (который во время запроса целиком считывается в оперативку) и увеличению времени выполнения запроса.

Я на выходных пробовал подбирать оптимальный index_granularity для похожей таблицы (по степени двойки перебрал значения от 8 до 16384) и ни один из вариантов не был быстрее дефолтного 8192.
источник

l

lnuynxa in ClickHouse не тормозит
Alexey Sokolov
Имейте в виду, что уменьшение гранулярности ведёт к увеличению размера индекса (который во время запроса целиком считывается в оперативку) и увеличению времени выполнения запроса.

Я на выходных пробовал подбирать оптимальный index_granularity для похожей таблицы (по степени двойки перебрал значения от 8 до 16384) и ни один из вариантов не был быстрее дефолтного 8192.
index_granularity это чуть другое
источник

AS

Alexey Sokolov in ClickHouse не тормозит
lnuynxa
index_granularity это чуть другое
А, пардон. Я всё о своей боли)
источник

l

lnuynxa in ClickHouse не тормозит
Alexey Sokolov
А, пардон. Я всё о своей боли)
Ваша конкретная боль заключается в том, что есть блок компрессии который составляет 65к строк, и кх с диска должен прочитать именно его
источник

l

lnuynxa in ClickHouse не тормозит
Те если вам нужна одна гранула, то кх в зависимости от того, как повезет может прочесть от 8192 строки до 65к строк
источник

AS

Alexey Sokolov in ClickHouse не тормозит
lnuynxa
Ваша конкретная боль заключается в том, что есть блок компрессии который составляет 65к строк, и кх с диска должен прочитать именно его
Об этом не знал, пойду почитаю. Спасибо.
источник