Телеграмм чат группы clickhouse_ru страница 7685

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4031 membersпожаловаться на группу

2020 June 26

R

Rail in ClickHouse не тормозит

Alexander Petrov

Можно наверное какой-нибудь kubernates job приделать чтоб он на всех подах запускал миграции

ага, но пока сделал через создание таблиц в скрипте запуска миграций, где проходим по каждому поду и создаем таблицы
и решил оставить создание kafka engine и mv только в первом поде, а replicatedMT во всех подах

источник

16:58пожаловаться #1

tc

to0n1 ccc in ClickHouse не тормозит

ребят есть вопрос:
есть таблица событий: events
в ней есть типы события, например pageView, sessionActivated, orderMade

вот так выбираю все события активации пользователей

select sa.source, sa.userId
from events sa
where sa.eventType = 'sessionActivated'

пытаюсь сделать запрос
выбрать все события orderMade и добавить атрибутом послений источник из события sessionActivated

вот на псевдокоде как выглядит

источник

17:27пожаловаться #2

tc

to0n1 ccc in ClickHouse не тормозит

select e.eventId, e.amount, e.userId, ACTIVATION_SOURCE from events e
    left join (
        select sa.source, sa.userId
        from events sa
        where sa.eventType = 'sessionActivated'
        order by sa.timestamp desc
    ) ssa on ssa.userId = e.userId  ???? e.timstamp > ssa.timestamp limit 1 ???
where e.eventType = 'orderMade'

источник

17:28пожаловаться #3

tc

to0n1 ccc in ClickHouse не тормозит

подскажите пожалуйста как такой запрос сделать, чтото ума не приложу

источник

17:28пожаловаться #4

tc

to0n1 ccc in ClickHouse не тормозит

select e.eventId, e.amount, e.userId, ( select sa.source, sa.userId
                                        from events sa
                                        where sa.eventType = 'sessionActivated' and sa.userId = e.userId
                                        order by sa.timestamp desc limit 1) ACTIVATION_SOURCE from events e
where e.eventType = 'orderMade'

источник

17:29пожаловаться #5

tc

to0n1 ccc in ClickHouse не тормозит

пробовал еще вот так

источник

17:29пожаловаться #6

tc

to0n1 ccc in ClickHouse не тормозит

но внутри подзапроса нет возможности ссылаться на основной запрос насколько я понял

источник

17:29пожаловаться #7

DT

Dmitry Titov in ClickHouse не тормозит

Ну тут либо делать JOIN, либо попытаться в 1 запрос всю логику поместить, но тогда нужно делать GROUP BY

источник

17:31пожаловаться #8

tc

to0n1 ccc in ClickHouse не тормозит

Ну тут либо делать JOIN, либо попытаться в 1 запрос всю логику поместить, но тогда нужно делать GROUP BY

боюсь не совсем понял как... можете пожалуйста дать минимальный пример

источник

17:35пожаловаться #9

DT

Dmitry Titov in ClickHouse не тормозит

боюсь не совсем понял как... можете пожалуйста дать минимальный пример

пример через join?

источник

17:39пожаловаться #10

tc

to0n1 ccc in ClickHouse не тормозит

да

источник

17:39пожаловаться #11

DT

Dmitry Titov in ClickHouse не тормозит

SELECT * FROM events e1 ANY LEFT JOIN events e2 USING user_id WHERE e1.eventType = 'orderMade' AND e2.eventType = 'sessionActivated'

ну это очень грубо, и тут нужно отталкиваться от соотношений записей таблиц для выбора наилучшего варианта

источник

17:41пожаловаться #12

IS

Ivan Starkov in ClickHouse не тормозит

подскажите какой статистике по запросу лучше верить, в query_log, query_duration_ms для некоторых запросов в 10 раз больше чем поле statistics.elapsed возвращаемое самим запросом.

источник

17:43пожаловаться #13

tc

to0n1 ccc in ClickHouse не тормозит

SELECT * FROM events e1 ANY LEFT JOIN events e2 USING user_id WHERE e1.eventType = 'orderMade' AND e2.eventType = 'sessionActivated'

ну это очень грубо, и тут нужно отталкиваться от соотношений записей таблиц для выбора наилучшего варианта

> добавить атрибутом послений источник из события sessionActivated

основная проблема впихнуть в такой запрос условие e1.timstamp > e2.timestamp
и нигде не нашел информации что any вернет именно первый результат

источник

17:44пожаловаться #14

tc

to0n1 ccc in ClickHouse не тормозит

наверное не правильно выразился:
источник из последнего события sessionActivated которое было перед событием orderMade

источник

17:45пожаловаться #15

DT

Dmitry Titov in ClickHouse не тормозит

> добавить атрибутом послений источник из события sessionActivated

основная проблема впихнуть в такой запрос условие e1.timstamp > e2.timestamp
и нигде не нашел информации что any вернет именно первый результат

ASOF join тогда

источник

17:46пожаловаться #16

DT

Dmitry Titov in ClickHouse не тормозит

https://clickhouse.tech/docs/ru/sql-reference/statements/select/join/#asof-join-usage

clickhouse.tech

Секция JOIN | Документация ClickHouse

Секция JOIN Join создаёт новую таблицу путем объединения столбцов из одной или нескольких таблиц с использованием общих

источник

17:46пожаловаться #17

K

Kasabian in ClickHouse не тормозит

Здравствуйте Друзья,
столкнулся с проблемой эволюции Avro схем в clickhouse,
* использую AvroConfluent формат для потребления Kafka сообщений
* как и указано в документации - !clickhouse кеширует avro схему после первого резолва!
* но случае персоздания стрима, с использованием новой, более широкой схемы отвергает новые сообщения, жалуясь на то
что в Avro схеме нет нужных полей, что не верно
* при пересоздании стрима, даже под дугими именем или в другой DB ошибка не меняется, помогает только заведения нового топика и новой схемы что для меня неприемлемо

Подскажите есть ли механихм(или воркараунд) для того что бы попросить кликхаус сбросить/обновить avro схема регистри кеш, или метаданные таблицы?

источник

17:49пожаловаться #18

DT

Dmitry Titov in ClickHouse не тормозит

Each Avro message embeds a schema id that can be resolved to the actual schema with help of the Schema Registry.
А что будет, если просто изменить schema id?

источник

17:52пожаловаться #19

K

Kasabian in ClickHouse не тормозит

schema id меняется автоматом при выпуске новой схемы и приходит в каждом кафка сообщении
только насколько я понимаю что clickhouse не перезапрашивает его если кеше уже есть схема с таким именем

дело в том что пробовал даже чистить старые схемы с регистри по моему тестовому топику, но кликхаус продолжнал жить со старой схемой

источник

17:59пожаловаться #20