А у кого-то была практика переноса большого количества данных из вертики в КХ?

поделитесь плз опытом как делали

Ещё могу отметить, что скорость ответа не зависит от того, по какому полю делается фильтрация - по партиционируемому или любому другому

Роллап работает только для той партиции, в которую сейчас пишутся данные

Для старых надо запускать OPTIMIZE принудительно

Есть утилита gtaphite-ch-optimizer

Сделает все сама и в крон ничего класть не надо

Товарищи, а кто может по кафке подсказать? версия кх 19.16.2.2
В логах вот такое, судя по всему - ругается на оффсет - не совпадает сохраненный и закоммиченный оффсет на 1
Вот что пишется в лог

clickhouse_1  | %7|1589888204.636|ASSIGN|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:   dumps-testing [0]
clickhouse_1  | %7|1589888204.637|FETCHSTART|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:  dumps-testing [0] offset INVALID
clickhouse_1  | %7|1589888204.638|OFFSETFETCH|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:  dumps-testing [0] offset INVALID
clickhouse_1  | %7|1589888204.638|OFFSET|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Topic dumps-testing [0]: setting default offset INVALID
clickhouse_1  | %7|1589888204.638|FETCHSTART|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:  dumps-testing [0] offset 27
clickhouse_1  | %7|1589888204.638|CGRPOP|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Group "bastion" received op PARTITION_JOIN in state up (join state started, v34) for dumps-testing [0]
clickhouse_1  | %7|1589888204.638|PARTADD|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Group "bastion": add dumps-testing [0]
clickhouse_1  | %7|1589888205.638|OFFSET|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Topic dumps-testing [0]: stored offset 28, committed offset 27: setting stored offset 28 for commit
clickhouse_1  | %7|1589888205.640|OFFSET|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Topic dumps-testing [0]: setting default offset INVALID
clickhouse_1  | %7|1589888206.188|CGRPOP|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Group "bastion" received op PARTITION_LEAVE in state up (join state wait-unassign, v36) for dumps-testing [0]
clickhouse_1  | %7|1589888206.188|PARTDEL|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Group "bastion": delete dumps-testing [0]
clickhouse_1  | %7|1589888206.188|CGRPOP|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: Group "bastion" received op REPLY:FETCH_STOP in state up (join state wait-unassign, v36) for dumps-testing [0]
clickhouse_1  | %7|1589888206.188|SUBSCRIPTION|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:  Topic dumps-testing with 1 partition(s)
clickhouse_1  | %7|1589888211.196|ASSIGN|ClickHouse 19.16.2.2#consumer-4| [thrd:main]:   dumps-testing [-1]
clickhouse_1  | %7|1589888211.196|ASSIGN|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: range: Topic dumps-testing with 1 partition(s) and 1 subscribing member(s)
clickhouse_1  | %7|1589888211.196|ASSIGN|ClickHouse 19.16.2.2#consumer-4| [thrd:main]: range: Member "ClickHouse 19.16.2.2-5bb94794-ea1d-4f75-b8c7-56bd6645a079": assigned topic dumps-testing partitions 0..0

Спасибо!

SELECT *
FROM t
WHERE ProjectID!=БЕЛИБЕРДА
LIMIT 10

set experimental_use_processors=0 ускоряет?
Версия кх?

Флаг щас попробую
version 20.3.4.10 (official build)

Шохарактерно, если на большой таблице не задать фильтр (но задать лимит 10), получаю ошибку по памяти

Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4732886 bytes), maximum: 9.31 GiB: While executing MergeTree.

Интересно.. из 128 сообщений прочитал последние 25
подлил еще 11 сообещний, прочёл 5, остальные с ошибкой

Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4732886 bytes), maximum: 9.31 GiB: While executing MergeTree.

https://github.com/ClickHouse/ClickHouse/issues/10671
обновляйтесь в 20.3.9.70

Да, флаг в значении 0 помогает

Спасибо

Подскажите пожалуйста, где в kittenhouse указать пароль к базе кликхауса? А то у меня ошибка при kittenhouse -u='' -g='':

ClickHouse server returned HTTP code 500: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name

Привет. Не могу найти подходящую функцию в КХ.  Я группирую по полю и делаю выборку по условию первое попавшееся значение. Пытаюсь сделать черезе  anyIf:

SELECT
  playerID,
  anyIf('transaction_type' = 'withdrawals', withdrawals),
  anyIf('transaction_type' = 'withdrawals', withdrawals_count),
  anyIf('transaction_type' = 'profiles', country)
FROM transactions_agg
GROUP BY playerID 

но ругается DB::Exception: Illegal type UInt64 of last argument for aggregate function with If suffix. Может есть другой какой способ?

условие должно быть вторым параметром в anyIf

спасибо! протупил что-то )

Господа, блиц вопрос, базирующийся на опыте
Есть прицеплямый диск. Пишем пишем в него, всё ок. Клик умирает вместе с сервером, диск выжил.
Запускаю клик, и вместо ATTACH в ддл забываю CREATE, что сделает клик - он достаточно умный чтобы понять что к чему, и не будет данные удалять а просто приаттачит?