Size: a a a

ClickHouse не тормозит

2020 June 03

VI

Vladyslav Ivanov in ClickHouse не тормозит
Здравствуйте! Подскажите, кто либо запускал на macOS в вагранте docker-compose с кликхаусом? Не было проблем с прекдиванием волюма?
clickhouse:
 image: yandex/clickhouse-server
 volumes:
   - ./var/docker/clickhouse:/var/lib/clickhouse
 ports:
   - 8124:8123
   - 9001:9000

у меня почему-то падает контейнер
источник

A

Anton in ClickHouse не тормозит
Dmitry Titov
ну тогда бы вытащил SQL запрос из пхп(до этого поигрался бы с объемом батча) и начал бы мучать через curl
теперь все таблицы решили не вставлять ничего)
источник

A

Anton in ClickHouse не тормозит
все же проблема с представлением, можно ли переливать из таблиц данные в таблицу по средством MATERIALIZED VIEW … TO … и навесить еще одно представление к конечной таблицы что бы из нее переливать в другую таблицу?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton
все же проблема с представлением, можно ли переливать из таблиц данные в таблицу по средством MATERIALIZED VIEW … TO … и навесить еще одно представление к конечной таблицы что бы из нее переливать в другую таблицу?
да, можно, каскады работают

надо во втором MV написать from либоTOтаблица_либо_inner
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton
все же проблема с представлением, можно ли переливать из таблиц данные в таблицу по средством MATERIALIZED VIEW … TO … и навесить еще одно представление к конечной таблицы что бы из нее переливать в другую таблицу?
зачем у вас select from select в MV ?

в смысле можно написать if(. (somefunc as X) > 0, X
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
assumeNotNull не нужен, dictGetInt32 не может вернуть null
источник

KG

Kate Glushchenko in ClickHouse не тормозит
Вопрос по clickhouse-copier

У меня есть две таблицы на одном хосте с одинаковой стуктурой
events и events_test

В таблицах есть поле
_date Date MATERIALIZED toDate(time),

По нему идет партиционирование
ENGINE = MergeTree
PARTITION BY toDate(_date)
ORDER BY (time, class)
SETTINGS index_granularity = 8192

При попытке копирования из events в events_test :

2020.06.03 03:33:57.506690 [ 18248 ] {} <Debug> ClusterCopier: Checking shard N1 (having a replica 127.0.0.1:9000, pull table mybase.events of cluster source_cluster) for partition '2020-06-01' existence, executing query: SELECT 1 FROM _local..read_shard_0.destination_cluster.mybase.events_test WHERE (toDate(_date) = ('2020-06-01' AS partition_key)) LIMIT 1
2020.06.03 03:33:57.508538 [ 18248 ] {} <Error> ClusterCopier: Will retry: Code: 47, e.displayText() = DB::Exception: Missing columns: '_date'

Это норма?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kate Glushchenko
Вопрос по clickhouse-copier

У меня есть две таблицы на одном хосте с одинаковой стуктурой
events и events_test

В таблицах есть поле
_date Date MATERIALIZED toDate(time),

По нему идет партиционирование
ENGINE = MergeTree
PARTITION BY toDate(_date)
ORDER BY (time, class)
SETTINGS index_granularity = 8192

При попытке копирования из events в events_test :

2020.06.03 03:33:57.506690 [ 18248 ] {} <Debug> ClusterCopier: Checking shard N1 (having a replica 127.0.0.1:9000, pull table mybase.events of cluster source_cluster) for partition '2020-06-01' existence, executing query: SELECT 1 FROM _local..read_shard_0.destination_cluster.mybase.events_test WHERE (toDate(_date) = ('2020-06-01' AS partition_key)) LIMIT 1
2020.06.03 03:33:57.508538 [ 18248 ] {} <Error> ClusterCopier: Will retry: Code: 47, e.displayText() = DB::Exception: Missing columns: '_date'

Это норма?
источник

KG

Kate Glushchenko in ClickHouse не тормозит
Спасибо!
источник

KG

Kate Glushchenko in ClickHouse не тормозит
когда планируется фикс?
источник

АО

Алексей Островерхов... in ClickHouse не тормозит
а подружить clickhouse и jasperserver  ни у кого не получилось? или есть какой-то другой способ прикрутить отчеты к клику
источник

VI

Vladyslav Ivanov in ClickHouse не тормозит
Подскажите, что делать, кликхаус ругается на права volume docker’a
clickhouse:
 image: yandex/clickhouse-server
 volumes:
   - ./var/docker/clickhouse:/var/lib/clickhouse
 ports:
   - 8124:8123
   - 9001:9000
источник

DS

Dmitry S. in ClickHouse не тормозит
Vladyslav Ivanov
Подскажите, что делать, кликхаус ругается на права volume docker’a
clickhouse:
 image: yandex/clickhouse-server
 volumes:
   - ./var/docker/clickhouse:/var/lib/clickhouse
 ports:
   - 8124:8123
   - 9001:9000
почему с точкой?
источник

VI

Vladyslav Ivanov in ClickHouse не тормозит
Dmitry S.
почему с точкой?
относительный путь.
я заметил что у меня там права пользователя 1000:1000
источник

VI

Vladyslav Ivanov in ClickHouse не тормозит
вот закинул в другую папку
источник

DS

Dmitry S. in ClickHouse не тормозит
Vladyslav Ivanov
вот закинул в другую папку
источник

DS

Dmitry S. in ClickHouse не тормозит
clickhouse-backup кто-нибудь использует?
источник

DS

Dmitry S. in ClickHouse не тормозит
есть вопросы по конфигу
источник

DS

Dmitry S. in ClickHouse не тормозит
использую clickhouse-backup:
clickhouse:
 username: username
 password: "pwd"
 host: localhost
 port: 9000
 data_path: "/var/lib/clickhouse"
 skip_tables:
 - system.*

скрипт вываливается в ошибку:

can't get Clickhouse tables with: code: 47, message: Missing columns: 'data_path' while processing query: 'SELECT database, name, is_temporary, data_path, metadata_path FROM system.tables WHERE (data_path != '') AND (is_temporary = 0)', required columns: 'database' 'is_temporary' 'name' 'data_path' 'metadata_path', source columns: 'sampling_key' 'primary_key' 'partition_key' 'metadata_path' 'engine_full' 'create_table_query' 'dependencies_table' 'storage_policy' 'is_temporary' 'dependencies_database' 'name' 'metadata_modification_time' 'data_paths' 'engine' 'sorting_key' 'database'

что я делаю не так?
источник

M

Maxim Bogdanov in ClickHouse не тормозит
Подскажите пожалуйста, будет ли для кликхауса разница (в основном интересует скорость индексации или ещё какие-то ньюансы, которые могут возникнуть), буду я делать записи в рамках примерно одинакового таймфрейма (CreatedAt записей монотонно увеличивается) или буду добавлять пачками записи, где CreatedAt будет размазан, например, сразу на год? К примеру, есть действия пользователя. Обычно они пишутся по факту возникновения. Но мне нужно записать в бд сразу все действия пользователя, сделанные за год.
источник