Телеграмм чат группы clickhouse_ru страница 9063

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4692 membersпожаловаться на группу

2021 January 13

AR

Alexander Ryzhenko in ClickHouse не тормозит

там ещё апдейты через alter table валятся. они могут быть причиной хаоса? ещё и сервер падает периодически.
диск да, в норме

если Вам нужны частые апдейты, то КХ лучше не брать.
+ вставки каких данных? У нас была такая ошибка когда вставляли пачки данных сильно разрозненные по ключу сортировки

источник

11:12пожаловаться #1

AR

Alexander Ryzhenko in ClickHouse не тормозит

еще что там в system.mutations и system.merges ?

источник

11:13пожаловаться #2

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

и там смотрите на mutation_ххххх.txt

источник

11:13пожаловаться #3

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

мне пришлось их все поудалять и сервис рестарт

источник

11:13пожаловаться #4

EZ

Egor Zagorskiy in ClickHouse не тормозит

# ls muta*.txt |wc -w
24579
и растёт

источник

11:14пожаловаться #5

EZ

Egor Zagorskiy in ClickHouse не тормозит

root@db-stat-ch:/etc/clickhouse-server# clickhouse-client -d stat
ClickHouse client version 20.12.5.14 (official build).
Connecting to database stat at localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)

ещё и сервер пропадает на несколько секунд

источник

11:15пожаловаться #6

EZ

Egor Zagorskiy in ClickHouse не тормозит

такое количество апдейтов не годится, судя по всему? вызывает непрерывный merge? сорян, я плохо понимаю физиологию КХ..

источник

11:17пожаловаться #7

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

кх он да, для другого

источник

11:17пожаловаться #8

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

апдейты можно, но редко

источник

11:17пожаловаться #9

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

может движок сменить на replace-summary-aggreg ?

источник

11:18пожаловаться #10

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

чтоб избежать

источник

11:18пожаловаться #11

EZ

Egor Zagorskiy in ClickHouse не тормозит

я не знал, что они будут так часто апдейтить данные, когда рекомендовал решение. думал, инсёрт и всё. то есть проблема практически точно в апдейтах?

источник

11:18пожаловаться #12

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

ну как... если можете их как-то веременно приостановить и поможет - то да

источник

11:19пожаловаться #13

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

но по "пракчиески точно" - подождите может еще мнений - я "средненько"

источник

11:20пожаловаться #14

AR

Alexander Ryzhenko in ClickHouse не тормозит

update/delete - это операции, которые не должны выполняться постоянно. Только в каких-то экстренных случаях, если надо поправть какой-то косяк в данных или еще что-то.
Можно попробовать ReplacingMergeTree, но он не дает 100% уверенности, что осталась только последняя версия

источник

11:21пожаловаться #15

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит

с Final-ом то вроде дает? Правда работает медленней обычного селекта

источник

11:21пожаловаться #16

AR

Alexander Ryzhenko in ClickHouse не тормозит

Вячеслав Владимиров

с Final-ом то вроде дает? Правда работает медленней обычного селекта

Да, но это тоже тяжело. Мы сейчас страдаем от этих Final-ов (много их стало)

источник

11:23пожаловаться #17

SC

Sarcastic Cat in ClickHouse не тормозит

хех, все равно непонятно, как мне тогда сгенерить timeSlots правильно
алсо

SELECT toTypeName(timeSlots(toDateTime(toDate('2021-01-11')), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400))) AS typename

┌─typename─────────────────────────┐
│ Array(DateTime('Europe/Moscow')) │
└──────────────────────────────────┘

ugh. время в timeSlots перестает смещаться если принудительно кастовать везде в UTC. но тогда смещаются сами данные

источник

11:29пожаловаться #18

P

Pavel in ClickHouse не тормозит

Всем привет. Пытаемся внедрить КХ для хранения cdr (лог звонков с АТС). Партиционирование по timestamp (yyyymm). При вводе в эксплуатацию начала валиться ошибка Too many parts (600). Merges are processing significantly slower than inserts. (version 20.12.5.14 (official build)). Пустил трафик через clickhouse-bulk ( "flush_count": 1000, "flush_interval": 5000 ) — ошибка не ушла. Добавил
<merge_tree>
<parts_to_delay_insert>300</parts_to_delay_insert>
<parts_to_throw_insert>600</parts_to_throw_insert>
<max_delay_to_insert>2</max_delay_to_insert>
<max_suspicious_broken_parts>5</max_suspicious_broken_parts>
</merge_tree>
— всё равно ошибка не ушла. Что я делаю не так?

что в партициях?
нам однажды с реплицированными таблицами сильно помог запрос

select * from system.replication_queue where database='...' and table='...'

источник

11:29пожаловаться #19

M

Munir in ClickHouse не тормозит

я не знал, что они будут так часто апдейтить данные, когда рекомендовал решение. думал, инсёрт и всё. то есть проблема практически точно в апдейтах?

а какого формата апдейты? CDR вроде не апдейтят :)

источник

12:02пожаловаться #20