Телеграмм чат группы clickhouse

2020 June 16

DC

Denny Crane (I don't... in ClickHouse не тормозит

Dimitriy Scherbenko

При выполнении запроса даты высчитываются корректно (ко второй прибавляется 3 часа), однако разница равна 0

Отображаются в одинаковую строку

источник

13:48пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

Pavel Kurinnoi

Еще есть вопрос про View. В документации написано, что это всего лишь сохраненные sql запросы.
Если я создал

CREATE VIEW v as SELECT * from t

а потом делаю

SELECT col1, col2 FROM v WHERE col3 = '...'

то оптимизатор поймет что мне не нужно в память выгружать все колонки? А только col1, col2 и col3?

Поймет

источник

13:50пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

Dj

Колонки - Да, но насколько я знаю предикаты не пробрасывались.

должны пробрасываться, начиная с начала 2019. Зависит от версии.

источник

13:50пожаловаться #3

PK

Pavel Kurinnoi in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

должны пробрасываться, начиная с начала 2019. Зависит от версии.

Супер, спасибо

источник

13:52пожаловаться #4

AM

Alexander Malikov in ClickHouse не тормозит

Yuri Velgosha

А движок таблицы какой? MergeTree?
Помню тут читал, что в этом случае происходят фоновые слияния, но старые файлы остаются еще 8 минут до их полного убиения. Можно попробовать сократить время жизни этих файлов до одной минуты на время массовой заливки, а потом вернуть взад...

старые не считаются
вместе со старыми (неактивными) их там гораздо больше
падает, когда количество именно активных подбирается к порогу,

источник

13:52пожаловаться #5

DS

Dimitriy Scherbenko in ClickHouse не тормозит

спасибо

источник

13:53пожаловаться #6

DC

Denny Crane (I don't... in ClickHouse не тормозит

Yuri Velgosha

А движок таблицы какой? MergeTree?
Помню тут читал, что в этом случае происходят фоновые слияния, но старые файлы остаются еще 8 минут до их полного убиения. Можно попробовать сократить время жизни этих файлов до одной минуты на время массовой заливки, а потом вернуть взад...

Это освободит место на диске. Но не изменит мержи.

источник

13:53пожаловаться #7

DC

Denny Crane (I don't... in ClickHouse не тормозит

Alexander Malikov

да, именно такой ключ
инсерт-селект потребовался потому, что старая таблица была в старом формате
то есть там логически те же самые партиции

у меня некоторые партиции тоже иногда без проблем льются (в партиции 35 млрд записей)
но оставить на ночь нельзя, потому что может упасть, а может не упасть
в целом эвристика такая, что если за 10 минут не упало, то следующие 2 часа всё будет хорошо

Поставьте у новой таблицы 30000 партов вместо 300 на время переливки в settings таблицы (их можно менять alter modify settings), плюс можно парты укрупнить.

https://gist.github.com/den-crane/21a84a9a8a9e5203195a7f023a0ec363

источник

13:57пожаловаться #8

VY

Vladislav Yakushev in ClickHouse не тормозит

привет!
а есть какой-нибудь лайфхак, чтобы один простой запрос, который выдаёт очень много строк сразу экспортировать в цсв?

источник

13:57пожаловаться #9

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vladislav Yakushev

привет!
а есть какой-нибудь лайфхак, чтобы один простой запрос, который выдаёт очень много строк сразу экспортировать в цсв?

Дописать в конце format CSV

источник

13:58пожаловаться #10

VY

Vladislav Yakushev in ClickHouse не тормозит

это прямо в табикс можно?

источник

13:58пожаловаться #11

AK

Anton Khokhrin in ClickHouse не тормозит

Kirill K

добрый день, коллеги/саппорт
кто нибудь сталкивался с проблемой, что КХ перестал удалять данные?
запросы вида alter table {NAME} delete where {COND} обрабатываются без ошибок, но по факту данные не удаляются. с readonly всё ок (в смысле прав у пользователя хватает), остальные операции работают без проблем

Так удаление асинхронное

источник

14:05пожаловаться #12

N

Nikita in ClickHouse не тормозит

Всем привет! Есть ли возможность делать миграции в кластере Clickhouse?

источник

14:10пожаловаться #13

AS

Aleksandr Strogonov in ClickHouse не тормозит

Nikita

Всем привет! Есть ли возможность делать миграции в кластере Clickhouse?

Alter table on cluster ...?

источник

14:12пожаловаться #14

N

Nikita in ClickHouse не тормозит

А как-то можно это автоматизировать, если кластеров много?

источник

14:15пожаловаться #15

KK

Kirill K in ClickHouse не тормозит

Anton Khokhrin

Так удаление асинхронное

удаляется пара строк, что занимало (ранее) доли секунды
так что дело в чем-то другом

источник

14:16пожаловаться #16

DC

Denny Crane (I don't... in ClickHouse не тормозит

Kirill K

удаляется пара строк, что занимало (ранее) доли секунды
так что дело в чем-то другом

Что поменялось? Апгрейд?
На самом деле почти не важно сколько удаляется строк при удалении просто парты размером перезаписываются без удаленных строк. Если парт был размером один тб, то нужно распаковать, смержить, запаковать, записать 1тб

источник

14:20пожаловаться #17

AM

Alexander Malikov in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Поставьте у новой таблицы 30000 партов вместо 300 на время переливки в settings таблицы (их можно менять alter modify settings), плюс можно парты укрупнить.

https://gist.github.com/den-crane/21a84a9a8a9e5203195a7f023a0ec363

понял, попробую
но тут тоже без гарантий, может и 30к перевалить?

источник

14:21пожаловаться #18

KK

Kirill K in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Что поменялось? Апгрейд?
На самом деле почти не важно сколько удаляется строк при удалении просто парты размером перезаписываются без удаленных строк. Если парт был размером один тб, то нужно распаковать, смержить, запаковать, записать 1тб

да в том то и дело что ничего не было, случайно заметили по данным что строки не удаляются. проверили вручную через таббикс - подтвердилось
думал может кто наступал на подобные грабли и может подсказать куда копать; но видимо это что-то не на слуху.
а так объёмы в базе в разы меньше Тб.

в любом случае спасибо

источник

14:23пожаловаться #19

DS

Dimitriy Scherbenko in ClickHouse не тормозит

Скажите, пожалуйста, можно ли как-то преобразовать String в const Sring?

источник

14:37пожаловаться #20