Телеграмм чат группы clickhouse_ru страница 7329

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3909 membersпожаловаться на группу

2020 May 19

S

SkyDigital in ClickHouse не тормозит

Друзья, а подскажите пожалуйста, как понять, что INSERT прошел успешно. Вот тут https://habr.com/ru/company/yandex/blog/303282/ пишут такое:

"Вставлять данные всегда следует пачками не слишком маленького размера. При этом вставка блоков данных размера до max_insert_block_size (= 1 048 576 строк по умолчанию), является атомарной: блок данных либо целиком вставится, либо целиком не вставится. В случае разрыва соединения в процессе вставки, вы можете не знать, вставился ли блок данных. Для достижения exactly-once семантики, для реплицированных таблиц, поддерживается идемпотентность: вы можете вставить один и тот же блок данных повторно, возможно на другую реплику, и он будет вставлен только один раз."

вы можете не знать.. а как узнать?

Вставка через ODBC коннектор

Яндекс открывает ClickHouse

Сегодня внутренняя разработка компании Яндекс — аналитическая СУБД ClickHouse, стала доступна каждому. Исходники опубликованы на GitHub под лицензией Apache 2.0.

источник

17:53пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

Alexander Artamoshin

Добрый день! Не получается подключить словарь, значениями которого являются NULL. Так и должно быть?

CREATE TABLE example (
    key Int32,
    value Nullable(Int32)
)
ENGINE = MergeTree()
ORDER BY key;

INSERT INTO example VALUES (1, 100), (2, 200), (3, NULL);

<yandex>
    <dictionary>
        <name>example_dict</name>
        <source>
              <clickhouse>
                <host>localhost</host>
                <user>default</user>
                <password></password>
                <db>default</db>
                <port>9000</port>
                <table>example</table>
                <where></where>
              </clickhouse>
        </source>
        <layout>
            <flat/>
        </layout>
        <structure>
            <id>
                <name>key</name>
            </id>
            <attribute>
                <name>key</name>
                <type>Int32</type>
                <null_value>0</null_value>
            </attribute>
            <attribute>
                <name>value</name>
                <type>Int32</type>
                <null_value>0</null_value>
            </attribute>
        </structure>
        <lifetime>15</lifetime>
    </dictionary>
</yandex>

SYSTEM RELOAD DICTIONARY 'example_dict';
Code: 349, e.displayText() = DB::Exception: Cannot convert NULL value to non-Nullable type: while converting source column value to destination column value (version 20.4.2.9 (official build))

кмк неправильное описание словаря. Почему тут есть attribute> <name>key</name> ? Там уже был <id> <name>key</name>

источник

17:53пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

Друзья, а подскажите пожалуйста, как понять, что INSERT прошел успешно. Вот тут https://habr.com/ru/company/yandex/blog/303282/ пишут такое:

"Вставлять данные всегда следует пачками не слишком маленького размера. При этом вставка блоков данных размера до max_insert_block_size (= 1 048 576 строк по умолчанию), является атомарной: блок данных либо целиком вставится, либо целиком не вставится. В случае разрыва соединения в процессе вставки, вы можете не знать, вставился ли блок данных. Для достижения exactly-once семантики, для реплицированных таблиц, поддерживается идемпотентность: вы можете вставить один и тот же блок данных повторно, возможно на другую реплику, и он будет вставлен только один раз."

вы можете не знать.. а как узнать?

Вставка через ODBC коннектор

Яндекс открывает ClickHouse

Сегодня внутренняя разработка компании Яндекс — аналитическая СУБД ClickHouse, стала доступна каждому. Исходники опубликованы на GitHub под лицензией Apache 2.0.

Если http code = 200, или OK в native протоколе

источник

17:54пожаловаться #3

DC

Denny Crane (I don't... in ClickHouse не тормозит

Alexander Artamoshin

Добрый день! Не получается подключить словарь, значениями которого являются NULL. Так и должно быть?

CREATE TABLE example (
    key Int32,
    value Nullable(Int32)
)
ENGINE = MergeTree()
ORDER BY key;

INSERT INTO example VALUES (1, 100), (2, 200), (3, NULL);

<yandex>
    <dictionary>
        <name>example_dict</name>
        <source>
              <clickhouse>
                <host>localhost</host>
                <user>default</user>
                <password></password>
                <db>default</db>
                <port>9000</port>
                <table>example</table>
                <where></where>
              </clickhouse>
        </source>
        <layout>
            <flat/>
        </layout>
        <structure>
            <id>
                <name>key</name>
            </id>
            <attribute>
                <name>key</name>
                <type>Int32</type>
                <null_value>0</null_value>
            </attribute>
            <attribute>
                <name>value</name>
                <type>Int32</type>
                <null_value>0</null_value>
            </attribute>
        </structure>
        <lifetime>15</lifetime>
    </dictionary>
</yandex>

SYSTEM RELOAD DICTIONARY 'example_dict';
Code: 349, e.displayText() = DB::Exception: Cannot convert NULL value to non-Nullable type: while converting source column value to destination column value (version 20.4.2.9 (official build))

<attribute>
                <name>value</name>
                <type>Int32</type>
                <null_value>0</null_value>
                <expression>assumeNotNull(value)</expression>
            </attribute>

у меня заработало

SELECT *
FROM dict.example_dict

┌─key─┬─value─┐
│ 1 │ 100 │
│ 2 │ 200 │
│ 3 │ 0 │
└─────┴───────┘

источник

17:58пожаловаться #4

AA

Alexander Artamoshin in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

кмк неправильное описание словаря. Почему тут есть attribute> <name>key</name> ? Там уже был <id> <name>key</name>

Да, можно не указывать

            <attribute>
                <name>key</name>
                <type>Int32</type>
                <null_value>0</null_value>
            </attribute>

Но проблема остается. Пока в таблице example есть NULL значение - словарь не загружается

источник

17:59пожаловаться #5

AA

Alexander Artamoshin in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

<attribute>
                <name>value</name>
                <type>Int32</type>
                <null_value>0</null_value>
                <expression>assumeNotNull(value)</expression>
            </attribute>

у меня заработало

SELECT *
FROM dict.example_dict

┌─key─┬─value─┐
│ 1 │ 100 │
│ 2 │ 200 │
│ 3 │ 0 │
└─────┴───────┘

Спасибо, попробую

источник

17:59пожаловаться #6

DC

Denny Crane (I don't... in ClickHouse не тормозит

Alexander Artamoshin

Спасибо, попробую

<yandex>
    <dictionary>
        <name>example_dict</name>
        <source>
              <clickhouse>
                <host>localhost</host>
                <user>default</user>
                <password></password>
                <db>default</db>
                <port>9000</port>
                <table>example</table>
                <where></where>
              </clickhouse>
        </source>
        <layout>
            <flat/>
        </layout>
        <structure>
            <id>
                <name>key</name>
            </id>
            <attribute>
                <name>value</name>
                <type>Int32</type>
                <null_value>0</null_value>
                <expression>assumeNotNull(value)</expression>
            </attribute>
        </structure>
        <lifetime>15</lifetime>
    </dictionary>
</yandex>

источник

17:59пожаловаться #7

МА

М Арт in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

у вас отличается результирущая строка, она рендерится по разному, проверить это можно так

select timestamp, toString(timestamp, 'UTC') xxxxx
from t where timestamp=toDateTime('2020-05-19 00:00:00', 'UTC')

Спасибо, интересный эффект

источник

17:59пожаловаться #8

DC

Denny Crane (I don't... in ClickHouse не тормозит

Спасибо, интересный эффект

КХ клиенты сами рендерят даты в строки и делают это в зависимости от их таймзоны. JDBC при рендеринге и переводит из таймзоны сервера в таймзону клиента. КХ клиент тоже, но так как клиент запущен обычно на сервере, то там таймзона обычно совпадает.

источник

18:02пожаловаться #9

DC

Denny Crane (I don't... in ClickHouse не тормозит

Подскажите пожалуйста, где в kittenhouse указать пароль к базе кликхауса? А то у меня ошибка при kittenhouse -u='' -g='':

ClickHouse server returned HTTP code 500: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name

-u='default' ?

источник

18:05пожаловаться #10

A

Alex in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

-u='default' ?

делал и не только его), он требует пользователя от которого запускать процес кажется...
сейчас перестанавливаю сервер, может конфиг запорол или еще чего.

источник

18:06пожаловаться #11

A

Alex in ClickHouse не тормозит

clickhouse-server start
Processing configuration file 'config.xml'.

Ошибка: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: config.xml, Stack trace (when copying this message, always include the lines below):

источник

18:07пожаловаться #12

DC

Denny Crane (I don't... in ClickHouse не тормозит

Victor A

добрый день. не нашел что это за ошибка и как ее лечить может кто подскажет? clickhouse Code: 76, e.displayText() = DB::Exception: Cannot open file , errno: 24, strerror: Too many open files, e.what() = DB::Exception

cat security/limits.d/clickhouse.conf
clickhouse soft nofile 262144
clickhouse hard nofile 262144

источник

18:07пожаловаться #13

A

Alex in ClickHouse не тормозит

clickhouse-server start
Processing configuration file 'config.xml'.

Ошибка: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: config.xml, Stack trace (when copying this message, always include the lines below):

при этом сервер после установки работает, а на команды не реагирует.

источник

18:10пожаловаться #14

A

Artem in ClickHouse не тормозит

а можно как то посмотреть сколько колонка занимает в конкретной партиции?
а то в

system.columns

полный размер по всем партициям. а В

system.parts

нет информации по колонкам

источник

18:19пожаловаться #15

DC

Denny Crane (I don't... in ClickHouse не тормозит

а можно как то посмотреть сколько колонка занимает в конкретной партиции?
а то в

system.columns

полный размер по всем партициям. а В

system.parts

нет информации по колонкам

parts_columns

источник

18:23пожаловаться #16

A

Artem in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

parts_columns

select partition, column, sum(bytes_on_disk) as sz from system.parts_columns where partition = '202004' and table= 'impressions' group by partition, column order by sz desc;

почему то для всех возвращает один и тот же размер в колонке sz,который равняется размеру партиции

источник

18:38пожаловаться #17

DC

Denny Crane (I don't... in ClickHouse не тормозит

select partition, column, sum(bytes_on_disk) as sz from system.parts_columns where partition = '202004' and table= 'impressions' group by partition, column order by sz desc;

почему то для всех возвращает один и тот же размер в колонке sz,который равняется размеру партиции

data_compressed_bytes data_uncompressed_bytes

where ... and active

источник

18:39пожаловаться #18

DC

Denny Crane (I don't... in ClickHouse не тормозит

а нет, колонки column_data_compressed_bytes column_data_uncompressed_bytes
column_bytes_on_disk

источник

18:42пожаловаться #19

A

Artem in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

data_compressed_bytes data_uncompressed_bytes

where ... and active

SELECT 
    partition, 
    column, 
    sum(data_compressed_bytes) AS sz
FROM system.parts_columns
WHERE (partition = '202004') AND (table = 'impressions') AND active
GROUP BY 
    partition, 
    column
ORDER BY sz DESC

Все равно сумма такая как будто group by не написан получается

источник

18:42пожаловаться #20