Телеграмм чат группы clickhouse

какой буфер?

Сейчас обычный create buffer(db, table, ...)
Точные значения размеров и таймаутов на память не скажу

19:54пожаловаться #1

DC

Danil

Сейчас обычный create buffer(db, table, ...)
Точные значения размеров и таймаутов на память не скажу

ну ОК и что сейчас Buffer -> Null -> MV -> mergtrtee_таблица ?

ну и должно быть все хорошо. Поставьте чтобы Buffer меньше 10тыс. записей не сбрасывал

Sergey Churin in ClickHouse не тормозит

19:56пожаловаться #2

SC

use_minimalistic_part_header_in_zookeeper 1 очень давно включен по дефолту.

>И тут писали, что старые партиции сами не меняют формат на компактный. И Алексей какую-то конвертилку упоминал
любой альтер конвертирует все парты. alter add column или alter update
тем более optimize

У нас версия давнее) Апдейт запланирован, но не сейчас. Ок попробуем алтером

Otabek Μansurov in ClickHouse не тормозит

20:00пожаловаться #3

OΜ

вы из мира mysql ?

вместо

timestamp,
status,

вам тогда
any(timestamp)

any(status),

Да из того мира. В этот мир я недавно поэтому ещё недостаточно знаю некоторые моменты.

20:01пожаловаться #4

DC

Sergey Churin

У нас версия давнее) Апдейт запланирован, но не сейчас. Ок попробуем алтером

ну какая у вас версия?

20:01пожаловаться #5

DC

Otabek Μansurov

Да из того мира. В этот мир я недавно поэтому ещё недостаточно знаю некоторые моменты.

mysql разрешает делать очень плохую гадость, там очень нестандартный sql

select a, sum(b)
from
без group by

в остальном SQL мире будет ошибка, поле a не в group by

mysql в этому случае просто делает

select any( a ), sum(b)
from

Sergey Churin in ClickHouse не тормозит

20:03пожаловаться #6

SC

ну какая у вас версия?

19.14.6.12. Настройка выключена была

20:08пожаловаться #7

DC

Sergey Churin

19.14.6.12. Настройка выключена была

вы какую проблему решаете? Обычно use_minimalistic_part_header_in_zookeeper помогает если у вас сотни серверов КХ

20:09пожаловаться #8

DC

Sergey Churin

19.14.6.12. Настройка выключена была

рестарт КХ был?

20:10пожаловаться #9

DC

19.14.6.12 -- можно сделать alter table delete where 0 , он пересоздаст все парты (в зукипере

Danil in ClickHouse не тормозит

20:12пожаловаться #10

D

ну ОК и что сейчас Buffer -> Null -> MV -> mergtrtee_таблица ?

ну и должно быть все хорошо. Поставьте чтобы Buffer меньше 10тыс. записей не сбрасывал

Сейчас я ещё на Null + MV не переделал, но планирую.
Потому и возник вопрос нужно ли оставлять буфер или можно в такой схеме без него обойтись.
И если добавлять буфер, то перед Null или между MV и конечной таблицей?

20:12пожаловаться #11

DC

Danil

Сейчас я ещё на Null + MV не переделал, но планирую.
Потому и возник вопрос нужно ли оставлять буфер или можно в такой схеме без него обойтись.
И если добавлять буфер, то перед Null или между MV и конечной таблицей?

MV триггерится каждым инсертом. По одной строке вставлять нельзя.

Лучше делать Buffer -> Null -> MV -> mergtrtee_таблица
чтобы было меньше вызовов MV

Повелитель Бури... in ClickHouse не тормозит

20:14пожаловаться #12

ПБ

И еще вопрос: кто как работает с s3 ? Примаунтить диск через s3fs или как внешнюю функцию?

Dmitry Titov in ClickHouse не тормозит

20:17пожаловаться #13

DT

s3fs как то грустно показалось, s3 table function пободрее должно быть

20:17пожаловаться #14

DC

Dmitry Titov

s3fs как то грустно показалось, s3 table function пободрее должно быть

Кстати Алексей в github написал что хранение партов на S3 экспериментальная штука и ни в коем случае на проде пользоваться нельзя

Повелитель Бури... in ClickHouse не тормозит

20:19пожаловаться #15

ПБ

<networks incl="networks" replace="replace">
<ip>::1</ip>
<ip>127.0.0.1</ip>

это про доступ с ip клиента, а не про то какой ip cлушать серверу

Извините не совсем понял. Я хочу этому дать возможность подключаться этим пользователем со всех машин. На уровне сервера listen host прописан "::"
Пока не прописал в user не подключался к серверу

Dmitry Titov in ClickHouse не тормозит

20:21пожаловаться #16

DT

Документация Yandex.Cloud | Yandex Managed Service for ClickHouse | Создание ClickHouse-кластера

Кстати Алексей в github написал что хранение партов на S3 экспериментальная штука и ни в коем случае на проде пользоваться нельзя

Вообще я так понимаю, что яндекс клауд уже экспериментирует над пользователями ( гибридного хранилища)
https://cloud.yandex.ru/docs/managed-clickhouse/operations/cluster-create

cloud.yandex.ru

ClickHouse-кластер — это один или несколько хостов базы данных, между которыми можно настроить репликацию.

20:21пожаловаться #17

DC

Повелитель Бури

Извините не совсем понял. Я хочу этому дать возможность подключаться этим пользователем со всех машин. На уровне сервера listen host прописан "::"
Пока не прописал в user не подключался к серверу

исторически

<default>
<password></password> -- пустой пароль

<networks incl="networks" replace="replace">
<ip>::1</ip>
<ip>127.0.0.1</ip> --- но доступ разрешен только с локалхоста

20:22пожаловаться #18

DC

0:0:0:0 -- это слушать все адреса это для listen_host

20:23пожаловаться #19

DC

если вам надо разрешить отовсюду, то просто удалите <ip>::1</ip><ip>127.0.0.1</ip>