Size: a a a

ClickHouse не тормозит

2020 September 07

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Я думал, что словарь под капотом это что-то вроде редиса. Но это не так?
Словарь может ходить в редис. В кх нету движков для быстрых точечных апдейтов.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Никита Макушников
Всем привет! Подскажите, пожалуйста, как можно восстановить таблицу с движком MergeTree() и стораджем s3 с одного кликхаус-сервера на другом, если первый упадёт? Я насколько понимаю, при s3 сторадже локально хранится файл метаданных, в которых вносится информация об объектах в s3. Так как mergetree() постоянно мержит данные фоном, файл метаданных постоянно переписывается. Вряд ли получится иметь актуальную резервную копию метаданных... прошу помочь, или поправить мое понимание ситуации:) заранее спасибо
Насколько я понимаю пока что надо делать реплику и хранить на s3 два раз.
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Насколько я понимаю пока что надо делать реплику и хранить на s3 два раз.
Спасибо, походу, это, действительно, единственный рабочий вариант
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Словарь может ходить в редис. В кх нету движков для быстрых точечных апдейтов.
пора уже sqlite словари, форматы заводить... пора...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
пора уже sqlite словари, форматы заводить... пора...
с одной стороны да, с другой КХ уже слишком всего втащил, и все не доделано и края нет.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
А прямо указать, мол, перезапиши или инвалидируй запись с ключом Х нельзя?
есть частично обновляемые словари, можно притягивать только дельты, типа select ... where updated_at >= .... предыдущий_запрос
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
есть частично обновляемые словари, можно притягивать только дельты, типа select ... where updated_at >= .... предыдущий_запрос
Где почитать?
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Прям грааль
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrii Kakoichenko
Где почитать?
ну в исходниках, просто добавляете update_field


<mysql>
<update_field>updated_at</update_field>
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
можно просто на локалхосте редис и туда ходить словарем direct на каждый запрос
источник

A

Artem in ClickHouse не тормозит
Anton Zhuravsky
Добрый вечер! Подскажите, кто пробовал, насколько стабильно/хорошо КХ работает на ARM?
У меня в качестве эксперимента работает на RaspberryPi. А вообще, не очень удобно он работает, так как через apt не поставить, приходится колхозить. В свете грядущей ARM революции и маков на армах, пора бы уже весь серверный софт по умолчанию и для aarch64 собирать/подготавливать.
источник

if

ilyshka fox in ClickHouse не тормозит
Всем привет. Меня интересует Есть рабочая версия вот такой конструкции?
 arrayMap(x->neighbor(date, -x), range(size))
в данный момент она возвращает  массив с одним и тем же значением.
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
Artem
У меня в качестве эксперимента работает на RaspberryPi. А вообще, не очень удобно он работает, так как через apt не поставить, приходится колхозить. В свете грядущей ARM революции и маков на армах, пора бы уже весь серверный софт по умолчанию и для aarch64 собирать/подготавливать.
Ну собрать справимся, думаю, хотим потыкать амазоновмкие арм сервера. Кроме сосбтвенно установки проблем ьольших не замечали?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
В CI есть готовые арм бинарники
источник

A

Artem in ClickHouse не тормозит
Anton Zhuravsky
Ну собрать справимся, думаю, хотим потыкать амазоновмкие арм сервера. Кроме сосбтвенно установки проблем ьольших не замечали?
Сборки под aarch64 есть, но они выглядят не так, как через apt. Например, есть один большой "бинарь" clickhouse и запускать надо clickhouse server и clickhouse client вместо clickhouse-server и clickhouse-client. Кроме того, нужно самому шаманить, чтобы через sudo service все поднималось-опускалось или ещё какой супервайзер настраивать. Не очень удобно. Про надёжность не знаю. 2 недели на rpi работает.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Сборки под aarch64 есть, но они выглядят не так, как через apt. Например, есть один большой "бинарь" clickhouse и запускать надо clickhouse server и clickhouse client вместо clickhouse-server и clickhouse-client. Кроме того, нужно самому шаманить, чтобы через sudo service все поднималось-опускалось или ещё какой супервайзер настраивать. Не очень удобно. Про надёжность не знаю. 2 недели на rpi работает.
В Deb пакете симлинки. кх это один бинарник всегда. Освойте команду ln -s  и понаделайте себе клиент и сервер
источник

A

Artem in ClickHouse не тормозит
Anton Zhuravsky
Ну собрать справимся, думаю, хотим потыкать амазоновмкие арм сервера. Кроме сосбтвенно установки проблем ьольших не замечали?
Ещё не удобно, что не всегда можно скачать конкретную версию. А это бывает важно. CI хранит только несколько последних версий и последнюю сборку какую-то, возможно master. Для продакшена такой колхоз не очень подходит. Вообще странно. Если у Яндекса есть свой deb-репозиторий для x86 и есть свои сборки для aarch64, то почему в этом репозитории нет aarch64 сборки.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Ещё не удобно, что не всегда можно скачать конкретную версию. А это бывает важно. CI хранит только несколько последних версий и последнюю сборку какую-то, возможно master. Для продакшена такой колхоз не очень подходит. Вообще странно. Если у Яндекса есть свой deb-репозиторий для x86 и есть свои сборки для aarch64, то почему в этом репозитории нет aarch64 сборки.
Потому что Яндексу это не нужно
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
В Deb пакете симлинки. кх это один бинарник всегда. Освойте команду ln -s  и понаделайте себе клиент и сервер
Я давно освоил, просто мне не хочется колхозить, особенно когда нет возможности откатываться на конкретную версию.
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Потому что Яндексу это не нужно
Ну как это не нужно? Скоро армы всем будут нужны, так как цена/производительность.
источник