Телеграмм чат группы clickhouse_ru страница 7686

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4031 membersпожаловаться на группу

2020 June 26

DT

Dmitry Titov in ClickHouse не тормозит

schema id меняется автоматом при выпуске новой схемы и приходит в каждом кафка сообщении
только насколько я понимаю что clickhouse не перезапрашивает его если кеше уже есть схема с таким именем

дело в том что пробовал даже чистить старые схемы с регистри по моему тестовому топику, но кликхаус продолжнал жить со старой схемой

Ну значит об этом просто не подумали и нужно писать багу на гитхаб, пофиксят

источник

17:59пожаловаться #1

DT

Dmitry Titov in ClickHouse не тормозит

AvroConfluent only caches schemas per an instance of an InputFormat. This means SchemaRegistry will be queried each time a batch from Kafka is processed.
из пулл реквеста
Но судя по твоим словам это не совсем так

источник

18:00пожаловаться #2

DT

Dmitry Titov in ClickHouse не тормозит

https://github.com/ClickHouse/ClickHouse/pull/8717#issuecomment-575943195

Merging Avro format. by alexey-milovidov · Pull Request #8717 · ClickHouse/ClickHouse

Changelog category (leave one):

Other

Changelog entry (up to few sentences, required except for Non-significant/Documentation categories):
Continuation of #8571

источник

18:01пожаловаться #3

C

Constantine in ClickHouse не тормозит

подскажите для словаря ip_trie есть какие-то ограничения по памяти? то есть мы грузим geoip в формате CSVWithNames. и обнаружили, что загружаем до 24577 строки. если удалить первую строчку становится доступна строка 24578 ))) КХ версии 20.1.11.73

источник

18:04пожаловаться #4

K

Kasabian in ClickHouse не тормозит

да но в то же время в документации по AvroConfluent формату написано следующее "Schemas are cached once resolved."
что точно описывает поведение которое я получаю

я чесно говоря ожидал что как минимум что есть еще какие то воркараунды как например в Impala
что бы зарелоадить конфиги, таблицы или бд
https://docs.cloudera.com/runtime/7.1.0/impala-reference/topics/impala-avro.html
блок Handling Avro Schema Evolution

Using Avro Data Files

Impala supports creating and querying Avro tables. You need to use Hive to insert data into Avro tables.

источник

18:05пожаловаться #5

DT

Dmitry Titov in ClickHouse не тормозит

https://github.com/ClickHouse/ClickHouse/pull/8953/files/927e572d39432d22ae96e087674a5124c6e2931b#diff-7d52759ffa35f632ce98cfb2b24b1855

Тут в комментах к коду вроде логично написано про url и тд

AvroConfluent fixes by oandrew · Pull Request #8953 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Other

Changelog entry (a user-readable short description of the changes t...

источник

18:06пожаловаться #6

K

Kasabian in ClickHouse не тормозит

@unamedrus интересно, спасибо 👍🏻

источник

18:10пожаловаться #7

DT

Dmitry Titov in ClickHouse не тормозит

У меня есть подозрения, что меняя url регистри ты сможешь это дело сбрасывать,
И есть такая отвратительная идея, сделать nginx который будет все перенаправлять на регистри, но позволит тебе вносить бесконечное число изменений в сам url, но я не уверен, что это будет работать

источник

18:11пожаловаться #8

DT

Dmitry Titov in ClickHouse не тормозит

LOG_TRACE((&Logger::get("AvroConfluentRowInputFormat")),
"Succesfully fetched schema id = " << id << "\n" << schema);
А как он в логах плюется?

источник

18:15пожаловаться #9

tc

to0n1 ccc in ClickHouse не тормозит

ASOF join тогда

да, смотрел на него, очень похоже на то, что мне нужно
но почему то не получается добавить в выборку колонки из приджоиненой таблицы

источник

18:15пожаловаться #10

tc

to0n1 ccc in ClickHouse не тормозит

пишет column not found

источник

18:15пожаловаться #11

DT

Dmitry Titov in ClickHouse не тормозит

ты ее через alias везде пишешь?

источник

18:15пожаловаться #12

DT

Dmitry Titov in ClickHouse не тормозит

SELECT e2.column FROM event e JOIN event e2

источник

18:16пожаловаться #13

tc

to0n1 ccc in ClickHouse не тормозит

все, разобрался, проблема была в group by по другому полю

источник

18:16пожаловаться #14

tc

to0n1 ccc in ClickHouse не тормозит

ошибку КХ не правильно показывал

источник

18:16пожаловаться #15

tc

to0n1 ccc in ClickHouse не тормозит

больше спасибо!

источник

18:16пожаловаться #16

AT

Al T in ClickHouse не тормозит

ищем full-time сотрудника (если вы гуру, то можем и консультантом на пару месяцев обсудить с сохранением основной работы).
работа в Стамбуле, солнце, море, песок, подвал, ночи в офисе, кому-что (можно периодически удаленно если очень надо, обсуждаемо)

команда охеренная, задачи нереальные, кому интересно пишите в личку )
https://piworks.bamboohr.com/jobs/view.php?id=157

ETL & Data Management Engineers for Greenplum/Clickhouse

P.I. Works is the leading provider of AI-driven mobile network planning, management and optimization solutions. These solutions empower Mobile Operators to accelerate network transformation, improve network quality and reduce network management costs on the way to 5G. P.I. Works has deployed its solution

в подвале в Стамбуле )) но есть окно чтобы смотреть на море, солнце и песок ))

источник

18:19пожаловаться #17

AT

Al T in ClickHouse не тормозит

кстати вот турецкие стартапы набирают обороты...

источник

18:19пожаловаться #18

D

Dj in ClickHouse не тормозит

Al T

в подвале в Стамбуле )) но есть окно чтобы смотреть на море, солнце и песок ))

ну, зато видно )

источник

18:19пожаловаться #19

AT

Al T in ClickHouse не тормозит

ну, зато видно )

да я не отговариваю никого, Стамбул должно быть здорово

источник

18:20пожаловаться #20