Size: a a a

ClickHouse не тормозит

2020 May 19

И

Игельшнойцхен... in ClickHouse не тормозит
Коллеги, подскажите пжл, а куда подевалась метрика InsertQuery в версии 20.3.8??
источник

S

Slach in ClickHouse не тормозит
=) никуда не подевалась, у вас инсерты были вообще? ;)
источник

AO

Alexandr Obuhov in ClickHouse не тормозит
ReplacingMergeTree после слияния данных не выполняет дедупликацию? То есть если обновленные данные не успели в текущий фрагмент, то они задублируются на всегда?
источник

DT

Dmitry Titov in ClickHouse не тормозит
до момента последующего слияния(в котом будут участвовать парты с дублирующимися данными)
источник

AA

Alexander Artamoshin in ClickHouse не тормозит
Добрый день! Не получается подключить словарь, значениями которого являются NULL. Так и должно быть?
CREATE TABLE example (
   key Int32,
   value Nullable(Int32)
)
ENGINE = MergeTree()
ORDER BY key;

INSERT INTO example VALUES (1, 100), (2, 200), (3, NULL);

<yandex>
   <dictionary>
       <name>example_dict</name>
       <source>
             <clickhouse>
               <host>localhost</host>
               <user>default</user>
               <password></password>
               <db>default</db>
               <port>9000</port>
               <table>example</table>
               <where></where>
             </clickhouse>
       </source>
       <layout>
           <flat/>
       </layout>
       <structure>
           <id>
               <name>key</name>
           </id>
           <attribute>
               <name>key</name>
               <type>Int32</type>
               <null_value>0</null_value>
           </attribute>
           <attribute>
               <name>value</name>
               <type>Int32</type>
               <null_value>0</null_value>
           </attribute>
       </structure>
       <lifetime>15</lifetime>
   </dictionary>
</yandex>

SYSTEM RELOAD DICTIONARY 'example_dict';
Code: 349, e.displayText() = DB::Exception: Cannot convert NULL value to non-Nullable type: while converting source column value to destination column value (version 20.4.2.9 (official build))
источник

DT

Dmitry Titov in ClickHouse не тормозит
источник

DT

Dmitry Titov in ClickHouse не тормозит
похоже он не может закастить Nullable(Int32) в Int32
возможно дело в том, что используется нативный протокол к клику, будь это какая то другая субд, он бы просто заменил бы на null_value
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
sv
Ребята, подскажите. Хочу перенести таблицу с одного хоста на другой. Для этого использую команду
clickhouse-client --host host1 --query="SELECT * FROM db1.my_table FORMAT Native" |clickhouse-client --host host2 --query="INSERT INTO db2.my_table FORMAT Native"
Но зачем-то ему нужна база db1 на хосте host2
Code: 81. DB::Exception: Received from host2. DB::Exception: Database db1 doesn't exist.
Code: 75. DB::ErrnoException: Cannot write to file (fd = 1), errno: 32, strerror: Broken pipe
|clickhouse-client -d db2 --host host2 --query=
источник

И

Игельшнойцхен... in ClickHouse не тормозит
Slach
=) никуда не подевалась, у вас инсерты были вообще? ;)
Были
источник

И

Игельшнойцхен... in ClickHouse не тормозит
Или insert as select не считается
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
поделитесь плз опытом как делали
/opt/vertica/bin/vsql -d db -c "select * from t" -q -t -U dw -w xxxx  -P format=unaligned -P null=0  -F $'\t' | clickhouse-client  -q "insert into t format TabSeparated"
источник

B

Bear in ClickHouse не тормозит
Bear
добрый день, коллеги! А кто подключал prometheus  к clickhouse? По доке так https://clickhouse.tech/docs/ru/operations/server-configuration-parameters/settings/#server_configuration_parameters-prometheus по факту так не работает. Ошибок в логах нет и порт 8001 никто не слушает. Подскажите что я забыл сделать?
Спасибо за подсказку @sashahit обновился с 19.15 -> 20.4 5мин полет нормальный) метрики появились.
источник

S

Slach in ClickHouse не тормозит
Игельшнойцхен
Или insert as select не считается
считается

SELECT * FROM system.metrics WHERE name LIKE '%nsert%'
источник

AS

Aleksandr Smirnov in ClickHouse не тормозит
Bear
Спасибо за подсказку @sashahit обновился с 19.15 -> 20.4 5мин полет нормальный) метрики появились.
надо будет тоже попробовать
источник

И

Игельшнойцхен... in ClickHouse не тормозит
Slach
считается

SELECT * FROM system.metrics WHERE name LIKE '%nsert%'
Попозже покажу, insertedrows есть а insetquery нету
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Slach
да
https://github.com/ClickHouse/ClickHouse/issues/7714


какое поле добавили?
default выражение зависит от существующего поля?

если таблица маленькая сотня миллионов значений OPTIMIZE TABLE stats FINAL поможет - но будет делаться около часа
>но будет делаться около часа
около часа? если 2 дня будет длится, тогда что? Почему час?????
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
/opt/vertica/bin/vsql -d db -c "select * from t" -q -t -U dw -w xxxx  -P format=unaligned -P null=0  -F $'\t' | clickhouse-client  -q "insert into t format TabSeparated"
ого сколько параметров )

спасибо
источник

S

Slach in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>но будет делаться около часа
около часа? если 2 дня будет длится, тогда что? Почему час?????
таблица 100м записей это примерно 20-30 гигов данных
у меня такое делалось что-то вроде 1-1.5 часа
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
М Арт
Добрый день всем! Вопрос:

Если мы явно указываем в запросе временную зону, например, так:

select timestamp from t where timestamp=toDateTime('2020-05-19 00:00:00', 'UTC')

то при обращении к одной и той же БД мы должны получить одинаковые значения для поля типа DateTime (timestamp) на любых клиентов, или же есть обстоятельства, при которых они могут отличаться?

Т.к. у нас отличаются. Версия клика 19.17.6.
у вас отличается результирущая строка, она рендерится по разному, проверить это можно так

select timestamp, toString(timestamp, 'UTC') xxxxx
from t where timestamp=toDateTime('2020-05-19 00:00:00', 'UTC')
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Slach
таблица 100м записей это примерно 20-30 гигов данных
у меня такое делалось что-то вроде 1-1.5 часа
ну вот у меня строки по 6кб (100mil - 600ГБ) и один жесткий диск на 5400, посчитайТе мне
источник