Size: a a a

ClickHouse не тормозит

2021 February 08

K

KiLEX 萊赫 in ClickHouse не тормозит
(ну может у меня аварий просто нормальных не было)
источник

NS

Nikolay Samsonov in ClickHouse не тормозит
KiLEX 萊赫
пока по моему опыту аварийного восстановления после крешей - кликхаус самый живучий.
ну из снапшота постгрю было проще поднять. с кликхаусом чуть больше мороки было. но подробностей не помню.
источник

S

Slach in ClickHouse не тормозит
Nikolay Samsonov
А если так делать: clickhouse-backup; ebs snapshot; delete backup на инстансе. или перед началом следующего бэкапа сначала предыдущий удалить на инстансе. пото все проделать снова. что-то такое
проще тогда уже сделать FREEZE
потом EBS snapshot
потом удалить hardlinks в /var/lib/clickhouse/shadow
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Slach
проще тогда уже сделать FREEZE
потом EBS snapshot
потом удалить hardlinks в /var/lib/clickhouse/shadow
а это alexakulov/clickhouse-backup по сути тоже самое, но запакованное в контейнер)
источник

MK

Mihail Kuzmin in ClickHouse не тормозит
Всем привет!
Ребят, а есть некий COUNT_IF? Или как в CH решить проблему подсчета строк по разным условиям?
источник

DM

Danila Migalin in ClickHouse не тормозит
Mihail Kuzmin
Всем привет!
Ребят, а есть некий COUNT_IF? Или как в CH решить проблему подсчета строк по разным условиям?
он так и называется - CountIf
источник

S

Slach in ClickHouse не тормозит
KiLEX 萊赫
а это alexakulov/clickhouse-backup по сути тоже самое, но запакованное в контейнер)
оно делает файловый бекап
это не тоже самое что EBS snapshot
источник

S

Slach in ClickHouse не тормозит
Mihail Kuzmin
Всем привет!
Ребят, а есть некий COUNT_IF? Или как в CH решить проблему подсчета строк по разным условиям?
есть countIf
на аггрегирующие фунции есть модификаторы
https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/combinators/
источник

MK

Mihail Kuzmin in ClickHouse не тормозит
Ах вот оно как работает 🤔 Спасибо!
источник

AK

Andrew Kosykhin in ClickHouse не тормозит
Добрый день, коллеги.

Подскажите, пожалуйста, добавляем http-словарь, где в source используется https...который сделан с помощью cloudflare ssl-сертификата.
Курлом проверяю всё ок. А когда делаю system reload dictionary, то получаю: "SSL Exception: error:14000410:SSL routines::sslv3 alert handshake failure, Stack trace"
источник

AK

Andrew Kosykhin in ClickHouse не тормозит
куда смотреть ? что читать ?
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Slach
оно делает файловый бекап
это не тоже самое что EBS snapshot
нене, это тоже самое что «сделать FREEZE»
он как раз создает хардлинки в /var/lib/clickhouse/shadow
источник

S

Slach in ClickHouse не тормозит
KiLEX 萊赫
нене, это тоже самое что «сделать FREEZE»
он как раз создает хардлинки в /var/lib/clickhouse/shadow
я в курсе что clickhouse-backup создает hardlinks
я пытаюсь донести до вас, что после этого он делает  копирование на S3 или в "локальную папку"
а это вообще не тоже самое что сделать EBS Snapshot
который делается на уровне блочного устройства

хардлинки нужны чтобы данные во время бекапа никто не удалил изнутри clickhouse типа при background merge или mutations
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Slach
я в курсе что clickhouse-backup создает hardlinks
я пытаюсь донести до вас, что после этого он делает  копирование на S3 или в "локальную папку"
а это вообще не тоже самое что сделать EBS Snapshot
который делается на уровне блочного устройства

хардлинки нужны чтобы данные во время бекапа никто не удалил изнутри clickhouse типа при background merge или mutations
я понимаю. просто создание этих хардлинков как раз обеспечивают консистентность именно этих файлов для снепшота. и если вдруг из снепшота основной стейт не поднимается эти хардлинки как раз помогут консистентно запсутить клик «из бекапа» который сохранился в снепшоте и при этом не занимает места
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
добрый день, подскажите как работает эта настройка, strict_insert_defaults=1.  В плане как ее установить, ch пишет что нет такой настройки
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Вячеслав Ракицкий
добрый день, подскажите как работает эта настройка, strict_insert_defaults=1.  В плане как ее установить, ch пишет что нет такой настройки
нашел что данную настройку удалили, хотя из офф документации не убрали( вопрос новый, как сделать чтобы не вставлялись какие-то дефолтные данные, если на вставку не передаются данные для полей, которые должны быть
источник

S

Slach in ClickHouse не тормозит
Вячеслав Ракицкий
нашел что данную настройку удалили, хотя из офф документации не убрали( вопрос новый, как сделать чтобы не вставлялись какие-то дефолтные данные, если на вставку не передаются данные для полей, которые должны быть
создать поля с типом Nullable и без DEFAULT выражения
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Slach
создать поля с типом Nullable и без DEFAULT выражения
так а если эти поля не должны быть Nullable, просто ошибка вставки нужна, как быть?
источник

ВР

Вячеслав Ракицкий... in ClickHouse не тормозит
Slach
создать поля с типом Nullable и без DEFAULT выражения
и default не указан при создании таблицы
источник

S

Slach in ClickHouse не тормозит
Вячеслав Ракицкий
так а если эти поля не должны быть Nullable, просто ошибка вставки нужна, как быть?
Removed the strict_insert_defaults setting. If you were using this functionality, write to clickhouse-feedback@yandex-team.com.

думаю стоит написать или завести ISSUE на github
как минимум документацию поправят
источник