В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3990 membersпожаловаться на группу
2020 June 16

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kirill K
да в том то и дело что ничего не было, случайно заметили по данным что строки не удаляются. проверили вручную через таббикс - подтвердилось
думал может кто наступал на подобные грабли и может подсказать куда копать; но видимо это что-то не на слуху.
а так объёмы в базе в разы меньше Тб.

в любом случае спасибо
да нет, на слуху, я делаю мутации раз в пол-года, еще ни разу само успешно не завершилось, и все время по разным причинам (было необходимо ручное вмешательство)
источник
14:41пожаловаться#1

DT

Dmitry Titov in ClickHouse не тормозит
Кто нибудь сталкивался с ошибкой/предупреждением clickhouse-copier
Partition 202006 piece 0 copied. But not moved to original destination table.
И вот 8 подряд таких сообщений(по 2 штуки на каждый сервер) немного напрягают
There is no table database.table_new_piece_5 on server: ip:9000
источник
14:45пожаловаться#2

YV

Yuri Velgosha in ClickHouse не тормозит
Alexander Malikov
понял, попробую
но тут тоже без гарантий, может и 30к перевалить?
Ну, чисто теоретисски, если дисковая не справляется, то все может быть. Есть замеры производительности дисковой системы нового кластера КХ - там с диском все хорошо?
источник
14:51пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Malikov
понял, попробую
но тут тоже без гарантий, может и 30к перевалить?
маловероятно, это слишком разные величины
источник
14:55пожаловаться#4

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yuri Velgosha
Ну, чисто теоретисски, если дисковая не справляется, то все может быть. Есть замеры производительности дисковой системы нового кластера КХ - там с диском все хорошо?
чисто практически там просто мержам не дают диска и cpu, поэтому конечно мержи не успевают
источник
14:56пожаловаться#5

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Dimitriy Scherbenko
Скажите, пожалуйста, можно ли как-то преобразовать String в const Sring?
Или же есть способ подсчета разницы между часовыми поясами, который не требует конст стринг? dateDiff('hour', toDateTime('2019-01-01 00:00:00', 'Europe/Moscow'), toDateTime('2019-01-01 00:00:00', 'UTC')? Буду благодарен за помощь.
источник
15:07пожаловаться#6

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
Или же есть способ подсчета разницы между часовыми поясами, который не требует конст стринг? dateDiff('hour', toDateTime('2019-01-01 00:00:00', 'Europe/Moscow'), toDateTime('2019-01-01 00:00:00', 'UTC')? Буду благодарен за помощь.
вопрос непонятен, что у вас в таблице и что вы хотите из чего вычесть?
SELECT
    toDateTime('2019-08-31 20:35:00', 'UTC') AS a,
    toDateTime('2019-08-31 20:35:00', 'Europe/Moscow') AS b,
    dateDiff('hour', a, b) AS diff

┌───────────────────a─┬───────────────────b─┬─diff─┐
│ 2019-08-31 20:35:00 │ 2019-08-31 20:35:00 │   -3 │
└─────────────────────┴─────────────────────┴──────┘
источник
15:10пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
у КХ всегда даты в UTC
источник
15:11пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
при конвертации из строки и в строку используются TZ
источник
15:11пожаловаться#9

DC

Denny Crane (I don't... in ClickHouse не тормозит
dateDiff вычитает юниксовые таймстампы которые всегдв в UTC
источник
15:12пожаловаться#10

KM

Konstantin Malanchev in ClickHouse не тормозит
Добрый день. Подскажите, пожалуйста, как уменьшить потребление памяти при инсерте с груп-бай

У меня такой случай, я создаю таблицу и пытаюсь положить в нее данные запросом типа
INSERT INTO new_table SELECT id, max(x) FROM another_table GROUP BY id
Статус выполнения доходит до 98%, а потом вдруг начинает съедать кучу памяти и падает, если её не хватает.

max_bytes_before_external_group_by выставлено на разумное значение в долю оперативки
источник
15:13пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Malanchev
Добрый день. Подскажите, пожалуйста, как уменьшить потребление памяти при инсерте с груп-бай

У меня такой случай, я создаю таблицу и пытаюсь положить в нее данные запросом типа
INSERT INTO new_table SELECT id, max(x) FROM another_table GROUP BY id
Статус выполнения доходит до 98%, а потом вдруг начинает съедать кучу памяти и падает, если её не хватает.

max_bytes_before_external_group_by выставлено на разумное значение в долю оперативки
если оперативки мало то max_bytes_before_external_group_by надо делать маленьким, типа если 4 то 1.
делается спиллинг на диск и группируются кусочки, но результат надо собрать в единое целое, и кусочки собираются в 256 бакетов, и 1/256 результата должна поместится в память
источник
15:15пожаловаться#12

KM

Konstantin Malanchev in ClickHouse не тормозит
1/256 точно помещается, max_bytes_before_external_group_by у меня 1/6 RAM
источник
15:15пожаловаться#13

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Malanchev
1/256 точно помещается, max_bytes_before_external_group_by у меня 1/6 RAM
SELECT id, max(x) FROM another_table GROUP BY id format Null тоже падает?
источник
15:16пожаловаться#14

KM

Konstantin Malanchev in ClickHouse не тормозит
Проверю, спасибо
источник
15:16пожаловаться#15

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вопрос непонятен, что у вас в таблице и что вы хотите из чего вычесть?
SELECT
    toDateTime('2019-08-31 20:35:00', 'UTC') AS a,
    toDateTime('2019-08-31 20:35:00', 'Europe/Moscow') AS b,
    dateDiff('hour', a, b) AS diff

┌───────────────────a─┬───────────────────b─┬─diff─┐
│ 2019-08-31 20:35:00 │ 2019-08-31 20:35:00 │   -3 │
└─────────────────────┴─────────────────────┴──────┘
В таблице есть поле, в котором прописаны часовые пояса. Пример написания: Europe/Moscow. Есть также поле с датами в UTC. Задача: изменить время в дате в соответствии с указанным часовым поясом.

Применяя значения из поля с часовыми поясами возникает ошибка при использовании toDateTime(date, timezone) ...expected const String, got String...
источник
15:23пожаловаться#16

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
В таблице есть поле, в котором прописаны часовые пояса. Пример написания: Europe/Moscow. Есть также поле с датами в UTC. Задача: изменить время в дате в соответствии с указанным часовым поясом.

Применяя значения из поля с часовыми поясами возникает ошибка при использовании toDateTime(date, timezone) ...expected const String, got String...
нет, не сделать это в КХ
источник
15:28пожаловаться#17

DC

Denny Crane (I don't... in ClickHouse не тормозит
обычно хранят offset в секундах, вдобавок к строковой TZ
источник
15:28пожаловаться#18

DS

Dimitriy Scherbenko in ClickHouse не тормозит
спасибо
источник
15:29пожаловаться#19

RK

Roman Kuzmin in ClickHouse не тормозит
Добрый день! Есть ли некий оптимальный (или максимальный) объем сжатых данных на один шард CH?
источник
15:49пожаловаться#20