Size: a a a

ClickHouse не тормозит

2021 February 21

E

EmailBoss in ClickHouse не тормозит
Всем салют✋
Подскажите, какой сервак и где лучше взять под ch.
В таблице строк будет больше лярда
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
EmailBoss
Всем салют✋
Подскажите, какой сервак и где лучше взять под ch.
В таблице строк будет больше лярда
В хецнере конечно.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
https://www.hetzner.com/dedicated-rootserver/sx133

128 GB DDR4 ECC RAM
Hard drive: 10 x 16 TB Enterprise HDD 7200 rpm, 2 x 960 GB datacenter NVMe SSD
from € 159.00
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Татьяна Исекеева
привет))
подскажите, пожалуйста, почему не работает суммирование?
Создаю таблицу
CREATE TABLE default.messages (
`event_date_time` DateTime,
`system_generated_id` Int64,
......
`registration_tu_code` Nullable(Int64) MATERIALIZED (SUBSTRING(registration_customs_code,1,3)),
`registration_date` Nullable(Date),
`registration_logbook_number` Nullable(String)
 ) ENGINE = MergeTree PARTITION BY toYYYYMM(event_date_time) ORDER BY (system_generated_id) SETTINGS index_granularity = 8192;


Создаю
материализованное представление и таблицу, в которой хочу суммировать данные

CREATE TABLE default.m (
`day` Date ,
`message_dir` Int8
)  
ENGINE = SummingMergeTree() PARTITION BY tuple() ORDER BY (day) SETTINGS index_granularity = 8192;



CREATE MATERIALIZED VIEW default.m_mv TO default.m (
`day` Date ,
`message_dir` Int8
) as
select
toStartOfDay(event_date_time) as day,
message_direction
from default.messages;

но
в таблице default.m вижу результат :
2021-02-17  1
2021-02-17  1
2021-02-17  1

Данные не суммируются. Что я делаю не так?
Вы кстати что хотите суммировать ? message_direction uint8?
источник

D

Denisio in ClickHouse не тормозит
двачую hetzner !
источник

D

Denisio in ClickHouse не тормозит
и ярд чота не очень много вроде, у меня в виртуалке столько на домашнем компе в CH
источник

S

Slach in ClickHouse не тормозит
Alexey Milovidov
Переслано от Asen Erden
понятно окей напишу , можете обьяснить mysql движок как работает  структур работы create table t_org(ID UInt32,org_code String,org_name String,LASTMODIFYTIME Datetime) ENGINE = MySQL('192.168.120.252:3306', 'gert9', 't_org', 'test1', 'password')
источник

ТИ

Татьяна Исекеева... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Вы кстати что хотите суммировать ? message_direction uint8?
В этом примере да
источник

S

Slach in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
https://www.hetzner.com/dedicated-rootserver/sx133

128 GB DDR4 ECC RAM
Hard drive: 10 x 16 TB Enterprise HDD 7200 rpm, 2 x 960 GB datacenter NVMe SSD
from € 159.00
проблема тут в том что на такой жирный сервер 1 гигабит весьма небольшая сетка, хрен забекапишь
если что пойдет не так, то 160 терабайт оттуда будут восстанавливаться 10-20 суток =)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slach
проблема тут в том что на такой жирный сервер 1 гигабит весьма небольшая сетка, хрен забекапишь
если что пойдет не так, то 160 терабайт оттуда будут восстанавливаться 10-20 суток =)
Бекапы для трусов.

а дешевле всего взять еще один точно такой же и делать инсерты сразу в два.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
На самом деле я пошутил про сервер. Потому что других требований не было. Можно и за 30евро взять.
источник

E

EmailBoss in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
https://www.hetzner.com/dedicated-rootserver/sx133

128 GB DDR4 ECC RAM
Hard drive: 10 x 16 TB Enterprise HDD 7200 rpm, 2 x 960 GB datacenter NVMe SSD
from € 159.00
спасибо
источник

S

Slach in ClickHouse не тормозит
Антон 😎
Всем привет 🙋🏻‍♂️ Подскажите пожалуйста, как правильно средствами nodejs правильно делать insert батчами?
пишем в TSV
потом через pipe вставляем
https://github.com/apla/node-clickhouse/blob/master/README.md#inserting-large-dataset
источник

TM

Timur Mukhamet in ClickHouse не тормозит
Приветствую. Есть вопрос, впервые разрабатываю на clickhouse, база данных создана с соответствующими таблицами, дальнейший план сделать экспорт этой базы, дабы заново его не заполнять. Не подскажите, как сделать экспорт данных т.е. для переноса на другой сервер.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Timur Mukhamet
Приветствую. Есть вопрос, впервые разрабатываю на clickhouse, база данных создана с соответствующими таблицами, дальнейший план сделать экспорт этой базы, дабы заново его не заполнять. Не подскажите, как сделать экспорт данных т.е. для переноса на другой сервер.
clickhouse-client -q 'select * from t format Native' > dump.native
clickhouse-client -q 'insert into T format Native' < dump.native
источник

TM

Timur Mukhamet in ClickHouse не тормозит
Отлично, спасибо!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
или
service clickhouse stop
rsync /var/lib/clickhouse .....
источник

E

Edya in ClickHouse не тормозит
Коллеги, привет!
Можно ли как-либо сделать индексы на AggregatingMergeTree (для AggregateFunction колонки)?
При создании таблицы ошибок нет, а вот при вставке DB::Exception: Operator < is not implemented for AggregateFunctionStateData.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Edya
Коллеги, привет!
Можно ли как-либо сделать индексы на AggregatingMergeTree (для AggregateFunction колонки)?
При создании таблицы ошибок нет, а вот при вставке DB::Exception: Operator < is not implemented for AggregateFunctionStateData.
А какой индекс то?
источник

E

Edya in ClickHouse не тормозит
Dmitry Titov
А какой индекс то?
minmax или set
источник