АК
про какую таблицу? про базу system ?
нет, про клиентские
Size: a a a
2020 July 09
АК
Если убрать - поднимается
DC
нет, про клиентские
я видимо совсем не понимаю что вы делаете. Я думал у вас пустая база, раз вы зукипер сносите
АК
я видимо совсем не понимаю что вы делаете. Я думал у вас пустая база, раз вы зукипер сносите
У нас большая база, мы восстанавливаемся после большой аварии. Есть как репликейтед, так и не репликейтед таблицы. Репликейтед во время всех операций у нас во фризе, мы их потом пересоздаем и аттачим, чтобы наполнить зукипер метаданными
A
Добрый день. Подскажите пожалуйста, можно ли как то в существующей таблице изменить настройку storage_policy? Или же нужно пересоздавать таблицу и переливать данные? Спасибо.
Не появилось ответа случайно?
Не появилось ответа случайно?
DT
Добрый день. Подскажите пожалуйста, можно ли как то в существующей таблице изменить настройку storage_policy? Или же нужно пересоздавать таблицу и переливать данные? Спасибо.
Не появилось ответа случайно?
Не появилось ответа случайно?
можно, если в новой storage_policy есть все диски из старой
DT
А потом можно сделать MOVE PARTITION
DT
и убрать через определение storage_policy тот диск, на котором уже нет партов
A
можно, если в новой storage_policy есть все диски из старой
а как сделать alter setting?
DT
и пока нужно сделать restart server
A
и убрать через определение storage_policy тот диск, на котором уже нет партов
наоборот будет расширение дисков
DT
а как сделать alter setting?
ALTER TABLE table MODIFY SETTINGS
A
о, супер, спасибо
ЛС
всем привет! Мне нужно решить задачу вида "За каждый день вывести пользователей, у которых показатель x за весь период до указанного дня больше порогового значения". Вроде бы это называется running total. Подскажите, пожалуйста, какими функциями в CH пользоваться, чтобы посчитать такое
DC
всем привет! Мне нужно решить задачу вида "За каждый день вывести пользователей, у которых показатель x за весь период до указанного дня больше порогового значения". Вроде бы это называется running total. Подскажите, пожалуйста, какими функциями в CH пользоваться, чтобы посчитать такое
select user, arraySlice(groupArray(date) gd, p), arraySlice(groupArray(x) as gx, p), arrayFirstIndex(i -> i> porog, arrayCumSum(gx)) p
from (select user, date, x from t order by user, date)
group by user
from (select user, date, x from t order by user, date)
group by user
A
Каждый час инзертится 3 файла по 100к строк. Почему такие спайки в потреблении памяти? Сейчас вылез memory error на вставке 20 мегабайт
A
Запрос на создание таблицы
CREATE TABLE dc.test
(
`adid` UUID,
`idfa` UUID,
`idfv` UUID,
`id_short` UInt64 MATERIALIZED cityHash64(reinterpretAsString(adid)),
`android_id` LowCardinality(String),
`installed_at` DateTime,
`store` LowCardinality(String),
`language` LowCardinality(String),
`app_id` LowCardinality(String),
`app_name` LowCardinality(String),
`app_version` LowCardinality(String),
`app_version_short` LowCardinality(String),
`region` LowCardinality(String),
`country_subdivision` LowCardinality(String),
`country` LowCardinality(String),
`city` LowCardinality(String),
`timezone` LowCardinality(String),
`device_manufacturer` LowCardinality(String),
`device_type` LowCardinality(String),
`device_name` LowCardinality(String),
`hardware_name` LowCardinality(String),
`cpu_type` LowCardinality(String),
`os_name` LowCardinality(String),
`os_version` LowCardinality(String),
`user_agent` LowCardinality(String),
`mcc` LowCardinality(String),
`network_type` LowCardinality(String),
`isp` LowCardinality(String),
`connection_type` LowCardinality(String),
`ip_address` LowCardinality(String),
`lifetime_session_count` Int32,
`session_count` Int32,
`time_spent` Int32,
`last_session_time` DateTime,
`last_time_spent` Int32,
`created_at` DateTime,
`environment` LowCardinality(String),
`activity_kind` LowCardinality(String),
`event` LowCardinality(String),
`event_name` LowCardinality(String),
`publisher_parameters` String,
`partner_parameters` LowCardinality(String),
`currency` LowCardinality(String),
`reporting_currency` LowCardinality(String),
`reporting_revenue` Float32,
`revenue_float` Float32,
`revenue_usd` Float32,
`network_name` LowCardinality(String),
`adgroup_name` LowCardinality(String),
`campaign_name` LowCardinality(String),
`creative_name` LowCardinality(String),
`match_type` LowCardinality(String),
`tracking_enabled` Int8,
`tracking_limited` Int8,
`tracker` LowCardinality(String),
`tracker_name` LowCardinality(String),
`first_tracker` LowCardinality(String),
`first_tracker_name` LowCardinality(String),
`last_tracker` LowCardinality(String),
`last_tracker_name` LowCardinality(String),
`referrer` LowCardinality(String),
`referral_time` DateTime,
`click_time` DateTime,
`click_referer` LowCardinality(String),
`engagement_time` DateTime,
`impression_time` DateTime,
`impression_based` Int8,
`conversion_duration` Int64,
`is_organic` Int8,
`is_reattributed` Int8,
`reattributed_at` DateTime,
`attribution_updated_at` DateTime,
`is_s2s` Int8,
`is_s2s_engagement_based` Int8,
`fb_campaign_group_id` Int64,
`fb_campaign_id` Int64,
`fb_adgroup_id` Int64,
`fb_campaign_group_name` LowCardinality(String),
`fb_campaign_name` LowCardinality(String),
`fb_adgroup_name` LowCardinality(String),
`fb_ad_objective_name` LowCardinality(String),
`fb_platform_position` LowCardinality(String),
`iad_keyword_matchtype` LowCardinality(String),
`iad_conversion_type` LowCardinality(String),
`iad_creative_set_id` Int64,
`iad_creative_set_name` LowCardinality(String),
`search_term` LowCardinality(String),
`adwords_network_type` LowCardinality(String),
`adwords_network_subtype` LowCardinality(String),
`adwords_campaign_id` Int64,
`adwords_campaign_name` LowCardinality(String),
`adwords_campaign_type` LowCardinality(String),
`adwords_placement` LowCardinality(String),
`adwords_keyword` LowCardinality(String),
`adwords_matchtype` LowCardinality(String),
`install_begin_time` DateTime,
`reinstalled_at` DateTime,
`time_to_reinstall` Int64,
`time_to_uninstall` Int64,
`uninstalled_at` DateTime,
`cost_type` LowCardinality(String),
A
`cost_currency` LowCardinality(String),
`cost_amount` Float32,
`reporting_cost` Float32,
`rejection_reason` LowCardinality(String),
`api_level` LowCardinality(String),
`deeplink` String,
`file_name` String
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(created_at)
ORDER BY (id_short, adid, created_at, installed_at, country, city, os_name, activity_kind, event_name, reporting_currency, reporting_revenue, network_name, adgroup_name, campaign_name, creative_name)
SETTINGS index_granularity = 8192
A
Это из-за того что в order by куча полей?
l
Запрос на создание таблицы
CREATE TABLE dc.test
(
`adid` UUID,
`idfa` UUID,
`idfv` UUID,
`id_short` UInt64 MATERIALIZED cityHash64(reinterpretAsString(adid)),
`android_id` LowCardinality(String),
`installed_at` DateTime,
`store` LowCardinality(String),
`language` LowCardinality(String),
`app_id` LowCardinality(String),
`app_name` LowCardinality(String),
`app_version` LowCardinality(String),
`app_version_short` LowCardinality(String),
`region` LowCardinality(String),
`country_subdivision` LowCardinality(String),
`country` LowCardinality(String),
`city` LowCardinality(String),
`timezone` LowCardinality(String),
`device_manufacturer` LowCardinality(String),
`device_type` LowCardinality(String),
`device_name` LowCardinality(String),
`hardware_name` LowCardinality(String),
`cpu_type` LowCardinality(String),
`os_name` LowCardinality(String),
`os_version` LowCardinality(String),
`user_agent` LowCardinality(String),
`mcc` LowCardinality(String),
`network_type` LowCardinality(String),
`isp` LowCardinality(String),
`connection_type` LowCardinality(String),
`ip_address` LowCardinality(String),
`lifetime_session_count` Int32,
`session_count` Int32,
`time_spent` Int32,
`last_session_time` DateTime,
`last_time_spent` Int32,
`created_at` DateTime,
`environment` LowCardinality(String),
`activity_kind` LowCardinality(String),
`event` LowCardinality(String),
`event_name` LowCardinality(String),
`publisher_parameters` String,
`partner_parameters` LowCardinality(String),
`currency` LowCardinality(String),
`reporting_currency` LowCardinality(String),
`reporting_revenue` Float32,
`revenue_float` Float32,
`revenue_usd` Float32,
`network_name` LowCardinality(String),
`adgroup_name` LowCardinality(String),
`campaign_name` LowCardinality(String),
`creative_name` LowCardinality(String),
`match_type` LowCardinality(String),
`tracking_enabled` Int8,
`tracking_limited` Int8,
`tracker` LowCardinality(String),
`tracker_name` LowCardinality(String),
`first_tracker` LowCardinality(String),
`first_tracker_name` LowCardinality(String),
`last_tracker` LowCardinality(String),
`last_tracker_name` LowCardinality(String),
`referrer` LowCardinality(String),
`referral_time` DateTime,
`click_time` DateTime,
`click_referer` LowCardinality(String),
`engagement_time` DateTime,
`impression_time` DateTime,
`impression_based` Int8,
`conversion_duration` Int64,
`is_organic` Int8,
`is_reattributed` Int8,
`reattributed_at` DateTime,
`attribution_updated_at` DateTime,
`is_s2s` Int8,
`is_s2s_engagement_based` Int8,
`fb_campaign_group_id` Int64,
`fb_campaign_id` Int64,
`fb_adgroup_id` Int64,
`fb_campaign_group_name` LowCardinality(String),
`fb_campaign_name` LowCardinality(String),
`fb_adgroup_name` LowCardinality(String),
`fb_ad_objective_name` LowCardinality(String),
`fb_platform_position` LowCardinality(String),
`iad_keyword_matchtype` LowCardinality(String),
`iad_conversion_type` LowCardinality(String),
`iad_creative_set_id` Int64,
`iad_creative_set_name` LowCardinality(String),
`search_term` LowCardinality(String),
`adwords_network_type` LowCardinality(String),
`adwords_network_subtype` LowCardinality(String),
`adwords_campaign_id` Int64,
`adwords_campaign_name` LowCardinality(String),
`adwords_campaign_type` LowCardinality(String),
`adwords_placement` LowCardinality(String),
`adwords_keyword` LowCardinality(String),
`adwords_matchtype` LowCardinality(String),
`install_begin_time` DateTime,
`reinstalled_at` DateTime,
`time_to_reinstall` Int64,
`time_to_uninstall` Int64,
`uninstalled_at` DateTime,
`cost_type` LowCardinality(String),
подозрительно много Low cardinality