IK
в доке рядом move partition
А если в целевой таблице уже есть такая партиция - как move себя поведет?
Size: a a a
2020 September 25
DC
А если в целевой таблице уже есть такая партиция - как move себя поведет?
в целевой таблице всегда нет такой партиции. Они переименовываются при добавлении, но это не важно, их еще и мержи переименовывают.
IK
в целевой таблице всегда нет такой партиции. Они переименовываются при добавлении, но это не важно, их еще и мержи переименовывают.
Я про данные из той партиции.
Есть ли риск при ретраях получить задвоение или еще какие-то интересные спецэффекты?
Есть ли риск при ретраях получить задвоение или еще какие-то интересные спецэффекты?
IK
Или move совсем атомарный, и если что - в оригинальной таблице уже ничего не будет и он на это заругается?
DC
Или move совсем атомарный, и если что - в оригинальной таблице уже ничего не будет и он на это заругается?
в оригинальной таблице при повторном move не будет партиции поэтому я и его предложил.
ничего true атомарного в КХ нет, если ZK отвалится при move то будет не пойми какое промежуточное состояние.
ничего true атомарного в КХ нет, если ZK отвалится при move то будет не пойми какое промежуточное состояние.
IK
в оригинальной таблице при повторном move не будет партиции поэтому я и его предложил.
ничего true атомарного в КХ нет, если ZK отвалится при move то будет не пойми какое промежуточное состояние.
ничего true атомарного в КХ нет, если ZK отвалится при move то будет не пойми какое промежуточное состояние.
Если true атомарного нет - в каких ситуациях может случиться сбой и задвоение?
Хочется натыкать предохранителей прежде чем оно в проде выстрелит)
Или это совсем никак не отследить?
Хочется натыкать предохранителей прежде чем оно в проде выстрелит)
Или это совсем никак не отследить?
DC
Если true атомарного нет - в каких ситуациях может случиться сбой и задвоение?
Хочется натыкать предохранителей прежде чем оно в проде выстрелит)
Или это совсем никак не отследить?
Хочется натыкать предохранителей прежде чем оно в проде выстрелит)
Или это совсем никак не отследить?
при сбоях операций с ZK, внезапных рестартах
IK
при сбоях операций с ZK, внезапных рестартах
А есть какой-то более-менее общепринятый способ это отслеживать/обходить?
Или только терпеть и навешивать мониторинги на состояние данных?
Или только терпеть и навешивать мониторинги на состояние данных?
DC
вы идете нестандартным путем, если делать обычные инсерты, то они идемпотенты из-за insert_deduplicate поэтому таких вопросов нет, повторяем инсерт до успеха.
DC
данные готовим в идемпотентном ETL
IK
Поняла, спасибо, будем думать)
MS
Добрый день! В чем может быть причина? Code 36 db exception ioerror logical type null can not be applied to group node. Падает при импорте parquet
DC
Добрый день! В чем может быть причина? Code 36 db exception ioerror logical type null can not be applied to group node. Падает при импорте parquet
ну просто не реализовано это. Сделайте feature request , приложите паркет или код как его нагенерить питоном
MS
ну просто не реализовано это. Сделайте feature request , приложите паркет или код как его нагенерить питоном
Хорошо, а что именно не устраивает clickhouse? Возможно, проще изменить паркет .
DC
Хорошо, а что именно не устраивает clickhouse? Возможно, проще изменить паркет .
не знаю,
я бы зашел с другой стороны, сгенерил по таблице КХ-а паркет и посмотрел что получилось в нем
я бы зашел с другой стороны, сгенерил по таблице КХ-а паркет и посмотрел что получилось в нем
I
пардон, что повторяюсь, но: в версии 19.14 для того чтобы изменить TTL для таблицы в сторону увеличения (с изменением для тех данных, которые уже есть в таблице) достаточно выполнить ALTER TABLE <tableName> MODIFY TTL <expr>, или нужно проделывать манипуляции с данными, чтобы изменить их TTL?
VM
что можно поковырять чтобы кликхаус работал на сервере с небольшим RAM?
пока пробовал max_concurrent_queries, background_pool_size, number_of_free_entries_in_pool_to_lower_max_size_of_merge, number_of_free_entries_in_pool_to_execute_mutation
что-нибудь еще имеет смысл смотреть? CH 20.9.2.20
пока пробовал max_concurrent_queries, background_pool_size, number_of_free_entries_in_pool_to_lower_max_size_of_merge, number_of_free_entries_in_pool_to_execute_mutation
что-нибудь еще имеет смысл смотреть? CH 20.9.2.20
DC
Vladimir Mihailenco
что можно поковырять чтобы кликхаус работал на сервере с небольшим RAM?
пока пробовал max_concurrent_queries, background_pool_size, number_of_free_entries_in_pool_to_lower_max_size_of_merge, number_of_free_entries_in_pool_to_execute_mutation
что-нибудь еще имеет смысл смотреть? CH 20.9.2.20
пока пробовал max_concurrent_queries, background_pool_size, number_of_free_entries_in_pool_to_lower_max_size_of_merge, number_of_free_entries_in_pool_to_execute_mutation
что-нибудь еще имеет смысл смотреть? CH 20.9.2.20
для меня небольшой это 64 ГБ
VM
для меня 4gb
VM
и я не прошу невозможного
CH сейчас хорошо работает (почти :)
CH сейчас хорошо работает (почти :)