Size: a a a

ClickHouse не тормозит

2020 May 27

ИИ

Илья Ионов in ClickHouse не тормозит
Понял, простым путем не удалось обойтись( Спасибо,  буду курить логи
источник

AM

Alexander Malikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
реплика 4 будет знать что реплика 1 живая (active) (через зукипер) и будет назначать фетчи с 1й, они будут висеть и пытаться повторятся по многу раз, короче все будет очень странно и долго качаться
в продолжение, если позволите :)
а если например сделать system stop replicated sends - оно поможет?
(с оговоркой, что инсерты на первую реплику никуда не попадут некоторое время)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Malikov
в продолжение, если позволите :)
а если например сделать system stop replicated sends - оно поможет?
(с оговоркой, что инсерты на первую реплику никуда не попадут некоторое время)
не знаю, подозреваю что мержи остановятся и будет too many parts
источник

EG

Eduard Generalov in ClickHouse не тормозит
Привет всем.

Можно ли заставить clickhouse падать на ошибке коннекта с zookeeper-ом?
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Всем привет! Подскажите, пожалуйста, как так, чтобы в одном массиве остались уникальные записи, соответствующие уникальным записям из другого массива? Пример: есть массив 1 с уникальными названиями событий и массив 2 с датами событий. При этом каждое событие могло повторяться несколько раз. Как сделать так, чтобы в массиве 2 остались только записи относящиеся к первому моменту совершения каждого из события?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
Всем привет! Подскажите, пожалуйста, как так, чтобы в одном массиве остались уникальные записи, соответствующие уникальным записям из другого массива? Пример: есть массив 1 с уникальными названиями событий и массив 2 с датами событий. При этом каждое событие могло повторяться несколько раз. Как сделать так, чтобы в массиве 2 остались только записи относящиеся к первому моменту совершения каждого из события?
из описания не понятно без примера что на входе и что должно быть на выходе

arrayFilter ( .... -> arrayExists(ArrayDistinct
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Пример: есть несколько событий: купил яблоко (1), купил апельсин(2), купил вишню(3). Первое событие произошло в 3 часа. Второе событие в 4 и 5, третье - 5 и 7. Необходимо на выходе получить массив времени совершения событий, в котором буду только первое время таких событий.
источник

Д

Дима in ClickHouse не тормозит
Dimitriy Scherbenko
Пример: есть несколько событий: купил яблоко (1), купил апельсин(2), купил вишню(3). Первое событие произошло в 3 часа. Второе событие в 4 и 5, третье - 5 и 7. Необходимо на выходе получить массив времени совершения событий, в котором буду только первое время таких событий.
minarg ?
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
[яблоко, апельсин, виншня] - массив 1
[3, 4, 5] - массив 2
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
Пример: есть несколько событий: купил яблоко (1), купил апельсин(2), купил вишню(3). Первое событие произошло в 3 часа. Второе событие в 4 и 5, третье - 5 и 7. Необходимо на выходе получить массив времени совершения событий, в котором буду только первое время таких событий.
на входе уже массивы и в таблице в строках / полях это лежит?
вы запутываете только
>как так, чтобы в одном массиве остались уникальные записи
создается впечатление что на входе два массива
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
на входе уже массивы и в таблице в строках / полях это лежит?
вы запутываете только
>как так, чтобы в одном массиве остались уникальные записи
создается впечатление что на входе два массива
На выход есть два массива
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
Пример: есть несколько событий: купил яблоко (1), купил апельсин(2), купил вишню(3). Первое событие произошло в 3 часа. Второе событие в 4 и 5, третье - 5 и 7. Необходимо на выходе получить массив времени совершения событий, в котором буду только первое время таких событий.
select groupArray(event_name), groupArray(event_time)
from (
  select event_name, min(event_time) event_time
  from ...
  group by event_name
)
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
select groupArray(event_name), groupArray(event_time)
from (
  select event_name, min(event_time) event_time
  from ...
  group by event_name
)
Правильно понимаю, что без подзапроса нельзя отфильтровать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
Правильно понимаю, что без подзапроса нельзя отфильтровать?
можно, но станет медленно и очень длинно-нечитаемо
источник

R

Rail in ClickHouse не тормозит
Я правильно понимаю, что для каждой колонки надо будет добавлять timestamp поле для того, чтобы верно определить какие поля были обновлены? Просто у меня колонок больше 40, и в будущем будут добавляться
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно, но станет медленно и очень длинно-нечитаемо
благодарю
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Rail
Я правильно понимаю, что для каждой колонки надо будет добавлять timestamp поле для того, чтобы верно определить какие поля были обновлены? Просто у меня колонок больше 40, и в будущем будут добавляться
это просто пример чтобы показать как можно сделать, для таблицы фактов с миллионами записей конечно это не подходит, факты должны быть иммъютебл, enrichment надо делать до КХ.
источник

v

vladamir in ClickHouse не тормозит
Всем привет! А не планируется добавлять фунционал синхронизации изменений данных между мат.вью и родительской таблицей?

В качестве родительской используем ReplaceMerge и изменяем в ней данные, которые потом "схлопываются". Хотелось бы мат.вью навешать на это все добро, но вот изменения фиксироваться в МВ не будут. Или может есть лучшие практики как решаются такие ситуации в рамках кликхауса? :)
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
vladamir
Всем привет! А не планируется добавлять фунционал синхронизации изменений данных между мат.вью и родительской таблицей?

В качестве родительской используем ReplaceMerge и изменяем в ней данные, которые потом "схлопываются". Хотелось бы мат.вью навешать на это все добро, но вот изменения фиксироваться в МВ не будут. Или может есть лучшие практики как решаются такие ситуации в рамках кликхауса? :)
сделать матвью тоже replacing
источник

D

Dj in ClickHouse не тормозит
как получить сжатые данные в rowbinary, и есть ли какой то сжатый формат? нужно перекинуть между системами через экспорт-импорт
источник