В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3985 membersпожаловаться на группу
2020 June 12

И

Иван in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну это примерно тоже самое, если обращаться к полю create_table_query , будет поход на диск за .sql
еще вредные советы: забрать всю метадату руками из файлов при большом желании. Прочитать ее из нод зукипера
источник
18:02пожаловаться#1

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
пересмотрю схему забора данных, да

> сохранить в таблицу версию схемы
при создании?
ну я не знаю ваш воркфлоу, обычно в какой-то табличке хранят версию, типа число 8.9765, приложение при старте проверяет, если ему нужна версия 9.01 то оно накатывает миграцию из 8.9765 в 9.01, апдейтит версию в табличке.
источник
18:04пожаловаться#2

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну я не знаю ваш воркфлоу, обычно в какой-то табличке хранят версию, типа число 8.9765, приложение при старте проверяет, если ему нужна версия 9.01 то оно накатывает миграцию из 8.9765 в 9.01, апдейтит версию в табличке.
а нет, тут другой кейс.
есть некоторое число пользователей, которое создает таблицы руками.
таких таблиц может набежать большое количество.
нужно прочитать метадынные этих таблиц и сохранить в другое место для отслеживания
источник
18:08пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
а нет, тут другой кейс.
есть некоторое число пользователей, которое создает таблицы руками.
таких таблиц может набежать большое количество.
нужно прочитать метадынные этих таблиц и сохранить в другое место для отслеживания
так tar zcf /backup/shema`date`.tgz /var/lib/clickhouse/metadata
источник
18:09пожаловаться#4

AS

Andrey Shulenko in ClickHouse не тормозит
Иван
еще вредные советы: забрать всю метадату руками из файлов при большом желании. Прочитать ее из нод зукипера
не хочется ходить в zoo за такой инфой, но спасибо за предложение
источник
18:11пожаловаться#5

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
так tar zcf /backup/shema`date`.tgz /var/lib/clickhouse/metadata
да, тоже вариант
но хотелось это все делать через интерфейсы кх, чтобы скрипт удаленно обходил ноды, не заходя в фс
источник
18:13пожаловаться#6

S

Slach in ClickHouse не тормозит
Andrey Shulenko
считывание "скриптом" происходит раз в сутки, идет примерно 3 часа.
за час примерно 4000 запросов SHOW CREATE TABLE, то есть за 3 часа — 12_000
включите system.query_log
полюбому ваш скрипт не только SHOW CREATE TABLE делает
запросы вы свои делаете в  какое кол-во коннектов по какому протоколу?

SELECT name, value FROM system.metrics name='Query'
мониторите?
график покажите?
max_concurrent_queries какое стоит?
ошибки есть в логах какие то?
источник
18:29пожаловаться#7

D

Denisio in ClickHouse не тормозит
а как посмотреть дисковую активность CH ?
источник
19:21пожаловаться#8

D

Denisio in ClickHouse не тормозит
всмысле что он сейчас чтото делает
источник
19:24пожаловаться#9

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denisio
а как посмотреть дисковую активность CH ?
долгий старт?
источник
19:27пожаловаться#10

D

Denisio in ClickHouse не тормозит
нет, я залил миллиард записей и хочу понять когда он прожуёт их
источник
19:28пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denisio
нет, я залил миллиард записей и хочу понять когда он прожуёт их
так он на диск их сразу пишет, если уже залил то все прожевано, ну помержит еще (system.merges)
источник
19:29пожаловаться#12

D

Denisio in ClickHouse не тормозит
а, merges.
источник
19:29пожаловаться#13

D

Denisio in ClickHouse не тормозит
там пусто, это значит он всё помержил ?
источник
19:29пожаловаться#14

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denisio
там пусто, это значит он всё помержил ?
нет. Это значит что он помержил все что считал разумным помержить на этот момент
источник
19:40пожаловаться#15

DC

Denny Crane (I don't... in ClickHouse не тормозит
если мержить все до упора, то КХ только и будет заниматься мержами, инсертам и селектам просто не останется диск i/o и cpu
источник
19:41пожаловаться#16

Б

Богдан in ClickHouse не тормозит
Есть набор данных [recordTime, clicks].

в условии стоит where recordTime >= 2020-06-09 00:00:00

2020-06-09 00:00:00  было 0 кликов.   сегодня 1000 кликов.

При группировке по часу. (например  toStartOfHour(record_time) as hour)  показываются клики за каждый час.  

А нужно чтобы была сумма кликов  от 2020-06-09 00:00:00 до каждого часа.

Есть варианты как такое сделать?
источник
19:45пожаловаться#17

D

Denisio in ClickHouse не тормозит
а есть возможность временно детачнуть таблицу, чтобы потом через неделю-две её обратно аттачнуть и всё работало? :)
источник
19:48пожаловаться#18

АS

Алексей @Bloxy.info ... in ClickHouse не тормозит
Богдан
Есть набор данных [recordTime, clicks].

в условии стоит where recordTime >= 2020-06-09 00:00:00

2020-06-09 00:00:00  было 0 кликов.   сегодня 1000 кликов.

При группировке по часу. (например  toStartOfHour(record_time) as hour)  показываются клики за каждый час.  

А нужно чтобы была сумма кликов  от 2020-06-09 00:00:00 до каждого часа.

Есть варианты как такое сделать?
arrays я бы использовал и arrayCumSum
источник
19:48пожаловаться#19

DC

Denny Crane (I don't... in ClickHouse не тормозит
Богдан
Есть набор данных [recordTime, clicks].

в условии стоит where recordTime >= 2020-06-09 00:00:00

2020-06-09 00:00:00  было 0 кликов.   сегодня 1000 кликов.

При группировке по часу. (например  toStartOfHour(record_time) as hour)  показываются клики за каждый час.  

А нужно чтобы была сумма кликов  от 2020-06-09 00:00:00 до каждого часа.

Есть варианты как такое сделать?
нарастающий итог?
источник
19:48пожаловаться#20