Спасибо!

вы надеюсь пароль поставили какой-нибудь? ломанут вирусы из интернета и все таблицы удалят

https://github.com/ClickHouse/ClickHouse/issues/20179

This one caught me too. It was not pointed out but let me add: This leads to a corrupted database and lost data!
If using alter table xxx.yyyy move partition '2020-10' to volume 's3' the files uploaded to s3 are incomplete (due to memory error during upload), but the part is removed from local disk.

но не факт что там s3, там может внутренний API какой-то, кокаин или лсд какой-нибудь

А почитать бест практис по секурити в ch  есть что то?

Ну в конечном счете обещают S3, но может там действительно какая то прослойка

Еще раз спасибо!🤝

https://altinity.com/webinarspage/clickhouse-defense-against-the-dark-arts-intro-to-security-and-privacy

Ну и в догонку

Добрый вечер, где посмотреть инфу о значении ignored/unexpected партиции в detached_parts?
Обнаружили частичную пропажу данных, и возможно эти данные находятся в этих партах. Их можно восстановить или посмотреть как-то содержимое?

ignored можно удалить

Неактивные куски удаляются не сразу, потому что при записи нового куска не вызывается fsync, т.е. некоторое время новый кусок находится только в оперативной памяти сервера (кеше О.С.). Т.о. при спонтанной перезагрузке сервера новый (смерженный) кусок может быть потерян или испорчен. В этом случае ClickHouse в процессе старта при проверке целостности кусков обнаружит проблему, вернет неактивные куски в список активных и позже заново их смержит. Сломанный кусок в этом случае переименовывается (добавляется префикс broken_) и перемещается в папку detached. Если проверка целостности не обнаруживает проблем в смерженном куске, то исходные неактивные куски переименовываются (добавляется префикс ignored_) и перемещаются в папку detached.


unexpected куски это куски (инсерты ? level_0 ?) которые не удалось записать в КХ.
просто создайте таблицу с точно такой-же структурой, перенесите unexpected куски в ее detached , уберите префикс unexpected (mv) и заатачте в эту таблицу, дальше просто select

да, есть level=0 и 1

про level 1 надо читать лог кликхауза

возможно КХ их перемержил снова и они уже есть в таблице

А ignored можно попробовать приаттачить таким же способом?

конечно можно, непонятно зачем?

проверить, мало ли там лежат данные, как раз которых не хватает, что маловероятно, но удостовериться.

проверяйте

да, там данные которые пропали

To join the ESCP, no money needed, companies just
Contributes at least one person into TensorBase.

Then you have the ESCP benefits like:
Full source use rights, including any commercial uses.
Propose and give priority to solving the requirements from your companies.
Day 0 maintenance from TensorBase's outstanding engineering talents.

наивно думают, что фичи не отреверсят и не бекпортируют обратно в clickhouse %)