Size: a a a

ClickHouse не тормозит

2020 July 27

A

Alexey in ClickHouse не тормозит
Alexandr
Привет! мы не нашли решения и откатили назад. Ситуация идентичная
Печально(
источник

VP

Vasiliy Panshin in ClickHouse не тормозит
Всем привет. Ребят, подскажите пожалуйста, что я делаю не так.

select id, src_id, param_date, param
from telemetry_common
where src_id in (260,261,66)
group by id, src_id, param_date, param
order by param_date desc
limit 1 by src_id;

выполняется ~5.6 сек (моя последняя попытка оптимизировать)


Второй тупой вариант:

select  id, src_id, param_date, param
from telemetry_common
where src_id in (260)
order by param_date desc
limit 1
union all
select  id, src_id, param_date, param
from telemetry_common
where src_id in (261)
order by param_date desc
limit 1
union all
select  id, src_id, param_date, param
from telemetry_common
where src_id in (66)
order by param_date desc
limit 1

выполняется 0.5 сек 😂

как правильно написать первый запрос, чтобы он выполнялся быстрее?
задача получить последние записи (по колонке param_date) для списка src_id
провёл много часов, пытаясь разобраться, но без результата.
источник

S

Slach in ClickHouse не тормозит
WAS AV
У юзера есть возможность самостоятельно менять свой пароль или только через админа?
смотря как юзер был сделан
https://clickhouse.tech/docs/en/sql-reference/statements/alter/user/
источник

S

Slach in ClickHouse не тормозит
WAS AV
У юзера есть возможность самостоятельно менять свой пароль или только через админа?
ну  и смотря какие права у пользователя по умолчанию
источник

S

Slach in ClickHouse не тормозит
Alexandr
Добрый день! после обновления до 20.5.2.7 , перестал работать UNION ALL, с ошибкой DB::Exception: Block structure mismatch in  function connect between Converting and Concat stream: different number of columns
Может кто-то сталкивался?
источник

A

Alexey in ClickHouse не тормозит
Спасибо!
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Vasiliy Panshin
Всем привет. Ребят, подскажите пожалуйста, что я делаю не так.

select id, src_id, param_date, param
from telemetry_common
where src_id in (260,261,66)
group by id, src_id, param_date, param
order by param_date desc
limit 1 by src_id;

выполняется ~5.6 сек (моя последняя попытка оптимизировать)


Второй тупой вариант:

select  id, src_id, param_date, param
from telemetry_common
where src_id in (260)
order by param_date desc
limit 1
union all
select  id, src_id, param_date, param
from telemetry_common
where src_id in (261)
order by param_date desc
limit 1
union all
select  id, src_id, param_date, param
from telemetry_common
where src_id in (66)
order by param_date desc
limit 1

выполняется 0.5 сек 😂

как правильно написать первый запрос, чтобы он выполнялся быстрее?
задача получить последние записи (по колонке param_date) для списка src_id
провёл много часов, пытаясь разобраться, но без результата.
Попробуйте так
SELECT src_id, argMax(src_id, param_date), ... FROM telemetry_common where src_id in (261) GROUP BY src_id
источник

OK

Oleg K in ClickHouse не тормозит
Вопрос к пользователям .net клиентов: кто-либо пользуется фактом/ожидает что GetFieldType в случае, скажем, Nullable(Int32) вернет именно typeof(Nullable<Int32>), а не typeof(Int32)?
источник

A

Andrey in ClickHouse не тормозит
Иван
Скорее tieried storage, ссылка та же, но чуть ниже по тексту
сделал конфиг для дисков
cat /etc/clickhouse-server/config.d/disk.xml
<yandex>
<storage_configuration>
       <disks>
           <hdd>
               <path>/opt/clickhouse/</path>
           </hdd>
           <ssd>
               <path>/var/lib/clickhouse/</path>
           </ssd>
       </disks>
       <policies>
           <ssd_only>
               <volumes><ssd><disk>ssd</disk></ssd><hdd><disk>hdd</disk></hdd></volumes>
           </ssd_only>
       </policies>
</storage_configuration>
</yandex>


теперь надо для нужной таблицы добавить эту политику и добавить TTL?
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Всем добрый день. Подскажите, может кто-то сталкивался. Есть кластер из 20 нод (10 + 1 реплика на каждую ноду). Столкнулись с ситуацией, что перестала на какие-то ноды работать вставка. Клиент при этом никак не ругается при вставке через Distributed таблицу. Посдкажите, пожалуйста, куда копать и что делать?
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Версия CH: version 20.4.4.18 (official build)
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Дмитрий Демьянович
Всем добрый день. Подскажите, может кто-то сталкивался. Есть кластер из 20 нод (10 + 1 реплика на каждую ноду). Столкнулись с ситуацией, что перестала на какие-то ноды работать вставка. Клиент при этом никак не ругается при вставке через Distributed таблицу. Посдкажите, пожалуйста, куда копать и что делать?
А почему ты ты решил, что она не работает? Какой ключ шардирования?
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Проверили на каждой ноде данные с сегодняшней датой. Примерно на половине данные отсутсвуют
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Ну так может быть они на других шардах?
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Отвалилась вставка 25 числа
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Денис Устинов
Ну так может быть они на других шардах?
Нет. Вставка интенсивная, т.к. сервис высоконагруженный. Ключ шардирования cityHash64(Identity). Identity монотонно возрастающий long
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Лог ноды куда не идет запись
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
<Error> Retention.Events_Local (ReplicatedMergeTreeRestartingThread): Couldn't start replication: Replica /clickhouse/tables/1-2/Events_Local/replicas/1 appears to be already active. If you'r
e sure it's not, try again in a minute or remove znode /clickhouse/tables/1-2/Events_Local/replicas/1/is_active manually. Code: 224, e.displayText() = DB::Exception: Replica /clickhouse/tables/1-2/Events_Local/replicas/1 appears
to be already active. If you're sure it's not, try again in a minute or remove znode /clickhouse/tables/1-2/Events_Local/replicas/1/is_active manually, Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x104191d0 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8fff8ad in /usr/bin/clickhouse
2. ? @ 0xda714e7 in /usr/bin/clickhouse
3. DB::ReplicatedMergeTreeRestartingThread::tryStartup() @ 0xda6f4b8 in /usr/bin/clickhouse
4. DB::ReplicatedMergeTreeRestartingThread::run() @ 0xda6ff18 in /usr/bin/clickhouse
5. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0xcfe9619 in /usr/bin/clickhouse
6. DB::BackgroundSchedulePool::threadFunction() @ 0xcfe9c42 in /usr/bin/clickhouse
7. ? @ 0xcfe9d72 in /usr/bin/clickhouse
8. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x902526b in /usr/bin/clickhouse
9. ? @ 0x9023753 in /usr/bin/clickhouse
10. start_thread @ 0x76db in /lib/x86_64-linux-gnu/libpthread-2.27.so
11. clone @ 0x12188f in /lib/x86_64-linux-gnu/libc-2.27.so
источник

И

Иван in ClickHouse не тормозит
Andrey
сделал конфиг для дисков
cat /etc/clickhouse-server/config.d/disk.xml
<yandex>
<storage_configuration>
       <disks>
           <hdd>
               <path>/opt/clickhouse/</path>
           </hdd>
           <ssd>
               <path>/var/lib/clickhouse/</path>
           </ssd>
       </disks>
       <policies>
           <ssd_only>
               <volumes><ssd><disk>ssd</disk></ssd><hdd><disk>hdd</disk></hdd></volumes>
           </ssd_only>
       </policies>
</storage_configuration>
</yandex>


теперь надо для нужной таблицы добавить эту политику и добавить TTL?
Не обязательно TTL использовать, можно использовать политику на основе занятного места (дефолтно доля  свободного равна 0.1)
далее создаете таблицу с настройкой SETTINGS storage_policy = 'your_policy_name' и он будет писать новые парты (если помещаются, на самый верхний volume, а потом когда там заканчивается место перемещать парты на другие volumes. TTL ... TO DISK|VOLUME позволяет более точно насраивать это поведение, но не обязательно использовать их. Поправьте меня если я был не точен где-то
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Реплики при этом доступны, но запись не работает: curl rt-clhs-012:8123/replicas_status
Ok.
источник