Size: a a a

ClickHouse не тормозит

2021 January 30

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrew Kochen
При наличии колонки типа Enum в ключе сортировки ReplicatedMergeTree невозможно сделать alter и убрать значение из множества значений Enum'a.
Подскажите, пожалуйста, это корректное поведение?
пример
CREATE TABLE t ON CLUSTER replicated
(
   `a` UInt64,
   `b` Enum8('a' = 1, 'b' = 2)
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/default/{shard}/t', '{replica}')
ORDER BY (b, a)

insert into t values (1,1),(2,2)

Далее запрос на кластере ALTER TABLE t ON CLUSTER replicated MODIFY COLUMN `b Enum8('a' = 1)`  падает с ошибкой Cannot execute replicated DDL query, maximum retires exceeded
е
сли делать на одном хосте, то ошибка следующая:
Re
ceived exception from server (version 20.8.12):
Code: 524. DB::Exception: Received from localhost:9100. DB::Exception: ALTER of key column b from type Enum8('a' = 1, 'b' = 2) to type Enum8('a' = 1) must be metadata-only.


Версия КХ 20.8.12.2
чаще всего в таком случае: просто забыли разрешить такую операцию, потому что никто не просил, и внутри яндекса это не нужно
источник

RK

Roman Kupriyanov in ClickHouse не тормозит
Под скажите как можно удалить bulk'ом все таблицы что я получаю из запроса "SELECT name FROM system.tables WHERE name LIKE('%2019');" ?
источник

l

lnuynxa in ClickHouse не тормозит
Roman Kupriyanov
Под скажите как можно удалить bulk'ом все таблицы что я получаю из запроса "SELECT name FROM system.tables WHERE name LIKE('%2019');" ?
cформировать набор комманд DROP TABLE и направить на stdin clickhouse-client
источник

RK

Roman Kupriyanov in ClickHouse не тормозит
Ок. Спасибо. Попробуем.
источник
2021 January 31

PT

Pavel Tarasov in ClickHouse не тормозит
Привет. А подскажите есть ли какой-то хороший способ заливать из s3 в mergeTree данные? insert into .. select from s3( ... ) зачастую просто падает по памяти (24гб), хотя сами паркетники в s3 до 80мб
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Tarasov
Привет. А подскажите есть ли какой-то хороший способ заливать из s3 в mergeTree данные? insert into .. select from s3( ... ) зачастую просто падает по памяти (24гб), хотя сами паркетники в s3 до 80мб
а это дело в паркетиках, кх пытается их сразу в память прочесть сразу всех.

https://github.com/ClickHouse/ClickHouse/issues/10461

Можно разбить вставку на несколько запросов
источник

PT

Pavel Tarasov in ClickHouse не тормозит
спасибо. Сам файл побить?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Tarasov
спасибо. Сам файл побить?
нет, вы же используете * наверное?
источник

PT

Pavel Tarasov in ClickHouse не тормозит
да
источник

PT

Pavel Tarasov in ClickHouse не тормозит
я паркетники готовлю под таблицу
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Tarasov
да
ну вот, допустим вместо * использовать более сложный паттерн, что бы читать не все сразу файлы, а группами
источник

PT

Pavel Tarasov in ClickHouse не тормозит
а не, я уже это сделал :) кормлю по 1 файлу
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Tarasov
а не, я уже это сделал :) кормлю по 1 файлу
И всеравно по памяти вылетает?
источник

PT

Pavel Tarasov in ClickHouse не тормозит
ага :(
источник

DT

Dmitry Titov in ClickHouse не тормозит
Это уже что то странное, что бы один файл в 80мб мог отжирать 24гб
источник

PT

Pavel Tarasov in ClickHouse не тормозит
кластер у меня в облаке. если оперативы подкинуть все отлично заезжает
источник

PT

Pavel Tarasov in ClickHouse не тормозит
а в 32 (чего хватает для остальных запросов) не лезет
источник

DT

Dmitry Titov in ClickHouse не тормозит
попробуйте посмотреть в query_log таблице, сколько конкретно памяти использует запрос импорта 1 паркет файла
источник

PT

Pavel Tarasov in ClickHouse не тормозит
Спасибо, сейчас попробую
источник

PT

Pavel Tarasov in ClickHouse не тормозит
Dmitry Titov
попробуйте посмотреть в query_log таблице, сколько конкретно памяти использует запрос импорта 1 паркет файла
Максималку вижу 5гб для файла размера 174мб. Похоже падает в момент когда еще что-то в паралель запущено
источник