Size: a a a

ClickHouse не тормозит

2020 June 18

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в тот и дело что скорее всего это сделано специально
https://clickhouse.tech/docs/ru/sql-reference/aggregate-functions/
вообще чё то я затупил, все это даже задокументировано
источник

IG

Ivan G in ClickHouse не тормозит
Привет!

Возникла трабла с инсертом.

Добавлю данные, через каждые 5 итераций, из таблицы удаляются данные.

Таблицу создавал запросом:
CREATE TABLE IF NOT EXISTS analytics.content_dashboard
   (
       event_date Date,
       rh_group String,
       view_entity String,
       views UInt64
   )   ENGINE = AggregatingMergeTree()
           ORDER BY (event_date)
           SETTINGS index_granularity = 8192

Вставляю через clickhouse-driver:
'insert into analytics.content_dashboard
   (event_date, rh_group, view_entity, views)
   values'
, (tuple c данными).

Подскажите плиз, как решить эту проблему?

(очевидно, что можно просто аккумулировать всё в один большой батч и разом сделать инсерт, но на сервере нет возможности занимать много RAM.)
источник

pk

papa karlo in ClickHouse не тормозит
а может он агрегирует и мержит?
источник

IG

Ivan G in ClickHouse не тормозит
papa karlo
а может он агрегирует и мержит?
Спасибо за наводку, выбрал неправильный engine при создании таблицы)
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Всем привет! Подскажите, пожалуйста, в чем может быть причина того, что из вьюхи пропадают данные? В самой вьюхе партиции нет, движок - aggregatingMergeTree. Посмотрел логи, там только инсерты и селекты.
источник

S

Shazo in ClickHouse не тормозит
Данные могут смержиться)
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Привет!
Включили access_management, добавили роль/юзера, разрешили ему только SELECT на определенные таблицы. Всё ок.
Но после добавления row policy на эти таблицы для этого юзера ( CREATE ROW POLICY t_filter ON db.table FOR SELECT USING clientID=... TO user; ), все остальные юзеры вообще перестали видеть строки оттуда.
Что это было?
источник

AT

Al T in ClickHouse не тормозит
сам не проверял, но подозреваю что в данном случае если нет полиси которая подходит то по умолчанию access denied
источник

AT

Al T in ClickHouse не тормозит
надо добавить полиси для остальных юзеров чтобы могли
источник

AT

Al T in ClickHouse не тормозит
видеть
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Да, похоже что так. Спасибо!
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
бред какой-то, копир от древнего кх?  which clickhouse-copier дальше смотрите куда симлинк указывает
Привет! Перепроверил еще раз всё.
КХ версии 20.4.5 и сервер и клиент.
copier устанавливался со сборкой сервера.

Выполняю команду:
clickhouse-copier --config-file=/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper.xml --task-path=/clickhouse-sync/copier/tasks --task-file=./copy-conf.xml

Получаю сразу такую ошибку:
Processing configuration file '/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper.xml'.
Starting ClickHouse 20.4.5.36 with revision 54434, PID 19523
Starting clickhouse-copier (id 20200618111157_19523, host_id click%2Dtest4%2Etops1%2Eio#20200618111157_19523, path /root/clickhouse-copier_20200618111157_19523, revision 54434)
virtual int DB::ClusterCopierApp::main(const std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > >&): Code: 36, e.displayText() = DB::Exception: Expected at least 3 arguments in  ENGINE = ReplicatedMergeTree('/tables/{shard}/events_shared', '{replica}')



В server.err.log начинают без остановки сыпать две ошибки. Когда удаляю файл zookeeper-preprocessed.xml -- ошибки перестают сыпаться.
2020.06.18 11:12:07.299360 [ 17862 ] {} <Error> ConfigReloader: Error loading config from '/etc/clickhouse-server/clickhouse-server/users.xml': Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Failed to merge config with '/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml': Access to file denied: /etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml


2020.06.18 11:12:05.307796 [ 17864 ] {} <Error> ConfigReloader: Error loading config from '/etc/clickhouse-server/clickhouse-server/config.xml': Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Failed to merge config with '/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml': Access to file denied: /etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
в конфиге для копира engine указан полностью
<engine>
   Engine = ReplicatedMergeTree('/tables/{shard}/events_shared', '{replica}')
   PARTITION BY toYYYYMM(date)
   ORDER BY (date, operation, owner_id)
   SETTINGS index_granularity = 8192
</engine>
источник

GK

Georgiy Kashintsev in ClickHouse не тормозит
подскажите пожалуйста, интеграция с кафкой возможна ли по TLS? в доке не ищется https://clickhouse.tech/docs/ru/engines/table-engines/integrations/kafka/
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
Как в группах оставить не более 100 элементов?
источник

pk

papa karlo in ClickHouse не тормозит
в каких группах
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
papa karlo
в каких группах
группы в терминах sql
источник

S

Sergey in ClickHouse не тормозит
limit by ?
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
Sergey
limit by ?
Да, спасиб
источник

A

Aleserche in ClickHouse не тормозит
Я правильно понимаю, что CREATE DATABASE IF NOT EXISTS test ON CLUSTER {cluster} работать не будет?
источник