Size: a a a

ClickHouse не тормозит

2020 July 02

Д

ДружокСапожок... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
не знаю, я бы изменил select во вью на toInt32
да клиент уже поменял) я постмортем разбираю
источник

Д

ДружокСапожок... in ClickHouse не тормозит
точнее пишу, хоть сломал сам клиент
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Добрый день!

Есть таблица с:
>TTL date + toIntervalMonth(1) TO VOLUME 'cold' SETTINGS storage_policy = 'moving_from_ssd_to_hdd',
После вставки в нее данных в папке с данными остается папка 202007_23834_23834_0

status этого part = 0. Т.е. Понятно, что это смерженная часть данных или перенесенная.

Но если сделать в этот момент рестарт сервера, вместо того, чтобы удалить эту папку, clickhouse выдает ошибку
>Part 202007_23834_23834_0 was found on disk default which is not defined in the storage policy

Вопрос: это является багом или нет?
После удаления этого part сервер стартует нормально.
источник

Д

ДружокСапожок... in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!

Есть таблица с:
>TTL date + toIntervalMonth(1) TO VOLUME 'cold' SETTINGS storage_policy = 'moving_from_ssd_to_hdd',
После вставки в нее данных в папке с данными остается папка 202007_23834_23834_0

status этого part = 0. Т.е. Понятно, что это смерженная часть данных или перенесенная.

Но если сделать в этот момент рестарт сервера, вместо того, чтобы удалить эту папку, clickhouse выдает ошибку
>Part 202007_23834_23834_0 was found on disk default which is not defined in the storage policy

Вопрос: это является багом или нет?
После удаления этого part сервер стартует нормально.
и в хот и в колд данных нет?
источник

Д

ДружокСапожок... in ClickHouse не тормозит
в обоих сторожах?
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Все данные на месте
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artemeey Gavryushin
Добрый день!

Есть таблица с:
>TTL date + toIntervalMonth(1) TO VOLUME 'cold' SETTINGS storage_policy = 'moving_from_ssd_to_hdd',
После вставки в нее данных в папке с данными остается папка 202007_23834_23834_0

status этого part = 0. Т.е. Понятно, что это смерженная часть данных или перенесенная.

Но если сделать в этот момент рестарт сервера, вместо того, чтобы удалить эту папку, clickhouse выдает ошибку
>Part 202007_23834_23834_0 was found on disk default which is not defined in the storage policy

Вопрос: это является багом или нет?
После удаления этого part сервер стартует нормально.
баг
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
тот один конкретный
теперь, так же завис на другом...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
теперь, так же завис на другом...
а логов много? т.е. он берет снепшот, потом накатывает все логи что были после
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я бы пробовал тогда без бекапов стартовать, качать с соседей
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а логов много? т.е. он берет снепшот, потом накатывает все логи что были после
много, 800М-1Г каждый
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я бы пробовал тогда без бекапов стартовать, качать с соседей
всю дату снести?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
всю дату снести?
да, мувнуть в сторону
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да, мувнуть в сторону
/log - тоже почистить?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
/log - тоже почистить?
там логи zk, типа log.44b530d854 ? да.

по идее если логи большие их много между снепшотами, то снепшоты должны чаще делаться
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
там логи zk, типа log.44b530d854 ? да.

по идее если логи большие их много между снепшотами, то снепшоты должны чаще делаться
да, стартанул нормально, все видно на этом хосте
источник

KB

Kirill Borovko in ClickHouse не тормозит
Всем привет, может кто подсказать, в чем может быть проблема, если я вставляю данные в таблицу из другой таблицы один к одному(столбы одни и те же) в итоговой таблице строк меньше чем в исходной?
и 1,1 млн записей получается 0,9 млн?
источник

a

alexeysh RnD in ClickHouse не тормозит
Дедуплицировали исходную?
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
там логи zk, типа log.44b530d854 ? да.

по идее если логи большие их много между снепшотами, то снепшоты должны чаще делаться
ок, рестарт полетел.
ЗК живой.
шард с битым файлом в общем то заработал ещё до этого.

а есть флажок который показывает что таблица рид онли или нет? ?
источник

KB

Kirill Borovko in ClickHouse не тормозит
alexeysh RnD
Дедуплицировали исходную?
нет
источник