Size: a a a

ClickHouse не тормозит

2021 March 16

S

Slach in ClickHouse не тормозит
Игорь Трофимов
интересно, а как считаете количество вставляемых строк?
count() обычный они считают
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Игорь Трофимов
интересно, а как считаете количество вставляемых строк?
CREATE MATERIALIZED VIEW monitor.events_mv TO monitor.insert_monitor
AS
SELECT
   today() AS date,
   now() AS ts,
   'events' AS table,
   count(*) AS rows,
   FQDN() AS hostname,
   'kafka' AS source
FROM
db_name.events
GROUP BY
   date,
   ts,
   table
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Slach
count() обычный они считают
yup
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Slach
в смысле скачет?
вы данные удаляете? или что?
да удаляем + еще репликация идет
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Vladimir Bunchuk
CREATE MATERIALIZED VIEW monitor.events_mv TO monitor.insert_monitor
AS
SELECT
   today() AS date,
   now() AS ts,
   'events' AS table,
   count(*) AS rows,
   FQDN() AS hostname,
   'kafka' AS source
FROM
db_name.events
GROUP BY
   date,
   ts,
   table
прикольно, не додумался бы сам, спасибо! не очевидное решение
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Игорь Трофимов
прикольно, не додумался бы сам, спасибо! не очевидное решение
не за что
но мне не нравятся некоторые моменты тут все же
не очень нравится что каждая нода как-бы мониторит саму себя
в связи с этим думаем завести отдельных маленький кликхаус на одну ноду и писать все данные в него через кафку
а в кафку писать через кафка-табличку
другими словами поменять движок у таблички insert_monitor c MergeTree на Kafka
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Vladimir Bunchuk
не за что
но мне не нравятся некоторые моменты тут все же
не очень нравится что каждая нода как-бы мониторит саму себя
в связи с этим думаем завести отдельных маленький кликхаус на одну ноду и писать все данные в него через кафку
а в кафку писать через кафка-табличку
другими словами поменять движок у таблички insert_monitor c MergeTree на Kafka
как-то кастыльно. Это можно реализовать кодом(того что пишет, не раз предлагал седалть нашим разработчикам, но они сильно заняты)))) и в кафку кинуть и читать уже кх записывать. Вот думаю как реализовать малой кровью..
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Игорь Трофимов
как-то кастыльно. Это можно реализовать кодом(того что пишет, не раз предлагал седалть нашим разработчикам, но они сильно заняты)))) и в кафку кинуть и читать уже кх записывать. Вот думаю как реализовать малой кровью..
вот в связи с этим завел issue сегодня)
https://github.com/ClickHouse/ClickHouse/issues/21781
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
++++
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Игорь Трофимов
как-то кастыльно. Это можно реализовать кодом(того что пишет, не раз предлагал седалть нашим разработчикам, но они сильно заняты)))) и в кафку кинуть и читать уже кх записывать. Вот думаю как реализовать малой кровью..
если что, то мы и так почти все из кафки читаем в кх)
источник

ИТ

Игорь Трофимов... in ClickHouse не тормозит
Vladimir Bunchuk
если что, то мы и так почти все из кафки читаем в кх)
у нас также, но очень много источников и жалуется что нет мониторинга, те кто пишет на flink, кафку я сам мониторю
источник

A

Anton in ClickHouse не тормозит
Добрый день.

Подскажите возможно ли в clickhouse ограничить запросы на select таким образом, чтобы они были разрешены на выполнение только из определенных view

Например:
имеется таблица А с большим количеством данных
и view B с фильтром по типу данных.

У меня получилось дать доступ к данным с ROW policy, но интересно возможно ли при этом не давать пользователю видеть таблицу A?
источник

TU

Temur Uzbekov in ClickHouse не тормозит
Привет. Можно задать алиас для таблицы или создать вьюшку, в которую можно писать? У нас намечается переименование таблицы, и хочется, чтобы код мог постепенно переезжать со старого имени таблицы на новое
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
мне нужно сохранять в таблицу хекс-значения максимально компактно (FixedString). в запросах это значение прилетает как строка например 'a567c902fe869d'.

можно ли создать таблицу в которой фактически записываемое значение в столбец будет результатом от значения в инсерте?

сейчас сделал дополнительную колонку как
FixedString(8) MATERIALIZED unhex(reinterpretAsString(hex_string))


но мне исходное значение в таблице не нужно вообще
можно через input() функцию
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Sokolov
Движок верный, таблица тоже.

Разобрался - в исходной таблице Nullable поля, а вставляю я их в столбец типа Array(String). Не знаю почему ошибки не было, но coalesce() спас отца русской демократии.
>Nullable поля
Array(Nullable( или Nullable(String
?

я хочу воспроизвести это
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Temur Uzbekov
Привет. Можно задать алиас для таблицы или создать вьюшку, в которую можно писать? У нас намечается переименование таблицы, и хочется, чтобы код мог постепенно переезжать со старого имени таблицы на новое
engine Null + MV
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anton
Добрый день.

Подскажите возможно ли в clickhouse ограничить запросы на select таким образом, чтобы они были разрешены на выполнение только из определенных view

Например:
имеется таблица А с большим количеством данных
и view B с фильтром по типу данных.

У меня получилось дать доступ к данным с ROW policy, но интересно возможно ли при этом не давать пользователю видеть таблицу A?
а через grant select не получается?
аа, или там на исходную таблицу тоже селект нужен
источник

A

Anton in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а через grant select не получается?
аа, или там на исходную таблицу тоже селект нужен
да,там исходная таблица требует селекта
источник

A

Anton in ClickHouse не тормозит
Плюс может подскажите .

я видимо не правильно понимаю логику работы row policy

CREATE ROW POLICY show_perm ON sample_data.a AS RESTRICTIVE FOR SELECT USING data_type in ('type_a', 'type_b') TO sample_user;

после создания, это заэфектило на всех пользователях
источник

A

Anton in ClickHouse не тормозит
Я предполагал что таким образом можно выдать разрешение на простр определенных строк для конкретного пользователя
источник