Size: a a a

ClickHouse не тормозит

2021 February 10

Н

Николай in ClickHouse не тормозит
Алексей, вот про людей справа, прямо заинтриговали
источник

Н

Николай in ClickHouse не тормозит
в мобильном варианте картинка вверху и там 1 человек
источник

Н

Николай in ClickHouse не тормозит
а так - замечательная картинка - прямо видно - человек спрашивает - а не видел ли ты где <текст вакансии> 🙂
источник

Н

Николай in ClickHouse не тормозит
а если найду
источник

D

Dj in ClickHouse не тормозит
https://avatars.mds.yandex.net/get-bunker/128809/81bd5371a3028d71a6644d81ed5f0b2ef78875c1/orig
когда запустил alter table modify ttl, и все остановилось =)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
https://avatars.mds.yandex.net/get-bunker/128809/81bd5371a3028d71a6644d81ed5f0b2ef78875c1/orig
когда запустил alter table modify ttl, и все остановилось =)
Скорее когда запустил

ALTER TABLE  ON CLUSTER MODIFY COLUMN col new_type
источник

MM

Mikhail Mayorov in ClickHouse не тормозит
Не могу переехать с версии 20.4 на 21.2.2.8
На 20.4 мог бесплатно сколько хочу вызывать вот этот скрипт

```create database if not exists replica_test;
drop table if exists replica_test.replica_table;
create table if not exists replica_test.replica_table
(
   timestamp DateTime64
(3) default now64()
) engine = ReplicatedMergeTree('/clickhouse/local/tables/shard_0/replica_table', 'replica_0')
     order by timestamp;
```

А на 21.2.2.821.2.2.8 при повторном запуске ловлю ошибку Replica /clickhouse/local/tables/shard_0/replica_table/replicas/replica_0 already exists. (version 21.2.2.8 (official build))

Такое чувство, что старая версия Clickhouse все подчищала в Zookeeper при удалении последней реплики, а новая нет, ну или с большой задержкой.
Кто-то сталкивался? Как чинится? Таблицы пересоздаю в автотестах, clickhouse + zookeeper в docker'е поднимаются для них.
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Mikhail Mayorov
Не могу переехать с версии 20.4 на 21.2.2.8
На 20.4 мог бесплатно сколько хочу вызывать вот этот скрипт

```create database if not exists replica_test;
drop table if exists replica_test.replica_table;
create table if not exists replica_test.replica_table
(
   timestamp DateTime64
(3) default now64()
) engine = ReplicatedMergeTree('/clickhouse/local/tables/shard_0/replica_table', 'replica_0')
     order by timestamp;
```

А на 21.2.2.821.2.2.8 при повторном запуске ловлю ошибку Replica /clickhouse/local/tables/shard_0/replica_table/replicas/replica_0 already exists. (version 21.2.2.8 (official build))

Такое чувство, что старая версия Clickhouse все подчищала в Zookeeper при удалении последней реплики, а новая нет, ну или с большой задержкой.
Кто-то сталкивался? Как чинится? Таблицы пересоздаю в автотестах, clickhouse + zookeeper в docker'е поднимаются для них.
Так и есть, это сделано для неблокирующих и атомарных DDL запросов. Можно по-старому, добавив NO DELAY:

drop table if exists replica_test.replica_table no delay
источник

MM

Mikhail Mayorov in ClickHouse не тормозит
вау))) а я уж часа три ковыряюсь)) Спасибо!
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Скорее когда запустил

ALTER TABLE  ON CLUSTER MODIFY COLUMN col new_type
а это когда джуны из альтинити пояснили за МВ https://avatars.mds.yandex.net/get-bunker/50064/f723c24f0736640a29b8751ced7566d898a43e52/orig
=)
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Переслано от Alexander Tokmakov
Можно использовать макрос {uuid} в пути к реплике. Ещё можно не указывать путь и имя реплики в аргументах движка, тогда будут использоваться /clickhouse/tables/{uuid}/{shard} и {replica} по умолчанию (или default_replica_path и default_replica_name из конфига)
источник

DV

Dimov Vasiliy in ClickHouse не тормозит
Добрый день, коллеги! Подскажите как решить такую задачу с помощью клика: есть временной ряд (изменение метрики по времени), сэмплы по минуте, но ряд не непрерывный, в нем есть пропуски. Надо сделать так чтобы ряд был строго непрерывным, а пропущенные значения заполнялись ближайшими к пропуску из предыдущих. Пропуски я заполнил, сджойнив текущий временной ряд со сгенерированным функцией timeSlots, теперь на месте пропусков у меня Null. А вот как заполнить их теперь ближайшими не могу придумать. Пробовал использовать neighbor(-1) но она срабатывает только если пропущено одно значение. Может быть кто-то даст наводку на подход или функцию которая сможет помочь. Подозреваю что можно сделать через группировку в массивы, но не понимаю как сделать нужную группировку чтобы в нее попало одно реальное значение и все следующие за ним Nulls.
источник

MM

Mikhail Mayorov in ClickHouse не тормозит
Dimov Vasiliy
Добрый день, коллеги! Подскажите как решить такую задачу с помощью клика: есть временной ряд (изменение метрики по времени), сэмплы по минуте, но ряд не непрерывный, в нем есть пропуски. Надо сделать так чтобы ряд был строго непрерывным, а пропущенные значения заполнялись ближайшими к пропуску из предыдущих. Пропуски я заполнил, сджойнив текущий временной ряд со сгенерированным функцией timeSlots, теперь на месте пропусков у меня Null. А вот как заполнить их теперь ближайшими не могу придумать. Пробовал использовать neighbor(-1) но она срабатывает только если пропущено одно значение. Может быть кто-то даст наводку на подход или функцию которая сможет помочь. Подозреваю что можно сделать через группировку в массивы, но не понимаю как сделать нужную группировку чтобы в нее попало одно реальное значение и все следующие за ним Nulls.
примерно такую же задачу нам помог решить ASOF JOIN https://clickhouse.tech/docs/en/sql-reference/statements/select/join/#asof-join-usage
источник

DV

Dimov Vasiliy in ClickHouse не тормозит
Спасибо, покурю документацию!
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Публичные клики (и система "ClickHouse over YT") - это часть Яндекса.
источник

СБ

Сергей Булатицкий... in ClickHouse не тормозит
упс
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denis Glazachev
Ну вот пока не заставили его работать через vanilla ldapsearch, в кликхаусе и пытаться не стоит.
После консультации с админами диагноз, что имеющуюся схему AD не натянуть на глобус текущей схемы работы LDAP с ролями/группами в clickhouse )
источник

N

Nekto in ClickHouse не тормозит
Помогите пожалуйста с схемой таблиц

Проект под NDA, поэтому рассказываю на похожем примере,

Есть куча станций (больше 400 миллионов), у каждый станции есть несколько датчиков, суммарно станция может измерять до 10 параметров. Измерения снимаются раз в месяц. Данные измерений приходят в виде трех csv файлов ( в разные дни месяца)

CSV №1 - формат <ID станции>,Параметр №1, Параметр №2, Параметр 3 (приходит 10 числа)
CSV №2 - формат <ID станции>,Параметр №4, Параметр №5, Параметр 6 (приходит 20 числа)
CSV №3 - формат <ID станции>,Параметр №7, Параметр №8, Параметр 9 (приходит 30 числа)

Необходимо для каждой станции по запросу показывать последние доступные данные с фильтрацией. Параметры могут (int) а могут быть (string).

Какой движок таблиц лучше использовать для этого случая? Одна таблица которую апдейтить или три таблицы?
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
В любом случае заведите таблицу под сырые данные и может статья https://m.habr.com/ru/company/oleg-bunin/blog/328784/ поможет в выборе схемы поверх сырых
источник

MV

Max Vikharev in ClickHouse не тормозит
Dj
ну, update_field
т.е. в ПГ таблице иметь что то типа LAST_UPDATED, и будут вам инкрементально обновления данных подвозится
Смотрите, в итоге история такая:
1. Нам нужно подгружать измерения SCD в кликхаус. Размером сотни ГБ
2. Вы посоветовали  словарь с движком ssd_cache,
3. мы увидели проблему в том что словари по доке не уме/т подкачивать инкрементально обновления (по строкам)
4. Вы написали что есть недокументированная фича update_field
5. В итоге мой коллега Николая подрубился сюда в чат и мы выяснили что  update_field для ssd_cache не работает в приницпе.

В итоге получается что словарь не подходит как способ из коробки  подтягивать SCD в КХ инкрементально, Правильно мы понимаем?
источник