Size: a a a

ClickHouse не тормозит

2020 June 09

PO

Pavel Onuchin in ClickHouse не тормозит
Piotr Liakhavets
порт... я в питоне хожу через 9000 (а в бивере через 8123)
Все верно, через 9000. Вот поэтому обратился  с вопросом, в чем может быть проблема, если все чреды верные
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Pavel Onuchin
Все верно, через 9000. Вот поэтому обратился  с вопросом, в чем может быть проблема, если все чреды верные
без деталей м.б. что угодно
NAT / настройки пользователя или сервера / неадекватный ресолв имени (если ноутбук на хабе или в ВМ)
источник

O

Orlan in ClickHouse не тормозит
Привет всем! Можно ли данные из вьюшки перелить в таблицу (только один раз)? Подскажите как?
источник

С

Саша in ClickHouse не тормозит
всем привет!
источник

S

Slach in ClickHouse не тормозит
Коинишива
источник

A

Alexei in ClickHouse не тормозит
Всем доброго дня!
Прошу совета у знающих людей. Возникла следующая проблема. Необходимо произвести резервное копирование таблицы, данные в которой распределены на нескольких дисках.  Вопрос  заключается в том, как правильно бекапить и восстанавливать такие таблицы.
При бекапе с помощью ALTER TABLE  table_name FREEZE PARTITION 'partition_name'; создаются хардлинки в папке shadow на каждом диске.
После чего бекапы со всех дисков удаленно копируются на сервер бекапов.
При восстановлении данных я помещаю эти бекапы в папку detached одного из дисков и с помощью ATTACH PARTITION закидываю данные в таблицу. Однако при таком подходе все данные из бекапа заливаются только на 1 диск. Существует ли механизм, при котором данные из бекапа будут распределяться по всем дискам, согласно storage policy таблицы?
Спасибо
источник

С

Светлана in ClickHouse не тормозит
Всем привет! Подскажите, пожалуйста, можно ли в версии 19.16 безопасно использовать кодеки Gorilla и DoubleDelta? Помнится с ними были проблемы..
источник

ΣΣ

Στέφανος Σαμαρδάκης... in ClickHouse не тормозит
Друзья, подскажите как без рестарта clickhouse-server изменить уровень логирования с TRACE на ERROR?
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Коллеги доброго времени суток
Не подскажете ка правильно создать dictionary с UUID в качестве peimay key.
Создаю Dictonary:
CREATE DICTIONARY SalesOfProductsFromStock.UUIDProducts
(
   primaryKey UUID,
   КодТовара UInt64,
   Название String,
   ЕдиницыИзмерения String,
   Описание String,
   Цена Float32
)
PRIMARY KEY primaryKey
SOURCE(FILE(PATH '/var/lib/clickhouse/user_files/SalesOfProductsFromStock/UUIDProducts.csv' FORMAT 'CSV'))
LIFETIME(MIN 0 MAX 300)
LAYOUT(HASHED) ;

Пытаюсь экспортировать CSV-файл
"02420a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234
"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пластиковая",44

Получаю:
Code: 27. DB::Exception: Received from localhost:9000. DB::Exception: Cannot parse input: expected '"' before: 'a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234\n"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пла�': (at row 1)

Row 1:
Column 0,   name: primaryKey,                       type: UInt64,  parsed text: "<DOUBLE QUOTE>02420"ERROR
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Στέφανος Σαμαρδάκης
Друзья, подскажите как без рестарта clickhouse-server изменить уровень логирования с TRACE на ERROR?
Начиная с версии 20.1 нужен рестарт
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexey Kostarev
Коллеги доброго времени суток
Не подскажете ка правильно создать dictionary с UUID в качестве peimay key.
Создаю Dictonary:
CREATE DICTIONARY SalesOfProductsFromStock.UUIDProducts
(
   primaryKey UUID,
   КодТовара UInt64,
   Название String,
   ЕдиницыИзмерения String,
   Описание String,
   Цена Float32
)
PRIMARY KEY primaryKey
SOURCE(FILE(PATH '/var/lib/clickhouse/user_files/SalesOfProductsFromStock/UUIDProducts.csv' FORMAT 'CSV'))
LIFETIME(MIN 0 MAX 300)
LAYOUT(HASHED) ;

Пытаюсь экспортировать CSV-файл
"02420a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234
"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пластиковая",44

Получаю:
Code: 27. DB::Exception: Received from localhost:9000. DB::Exception: Cannot parse input: expected '"' before: 'a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234\n"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пла�': (at row 1)

Row 1:
Column 0,   name: primaryKey,                       type: UInt64,  parsed text: "<DOUBLE QUOTE>02420"ERROR
мне кажется, что layout нужно сделать complex_key_hashed если у вас ключ не число
источник

ΣΣ

Στέφανος Σαμαρδάκης... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Начиная с версии 20.1 нужен рестарт
Версия 20.4.4.18, в логе вижу:
2020.06.09 13:23:01.435085 [ 335 ] {} <Debug> ConfigReloader: Loading config '/etc/clickhouse-server/config.xml'

Но он продолжает трейсить
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Στέφανος Σαμαρδάκης
Версия 20.4.4.18, в логе вижу:
2020.06.09 13:23:01.435085 [ 335 ] {} <Debug> ConfigReloader: Loading config '/etc/clickhouse-server/config.xml'

Но он продолжает трейсить
Ещё раз прочитайте то что я написал
источник

ΣΣ

Στέφανος Σαμαρδάκης... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Ещё раз прочитайте то что я написал
Прочитал! Эх, глаза видят то, что хотят видеть 🙁
источник

ΣΣ

Στέφανος Σαμαρδάκης... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Ещё раз прочитайте то что я написал
А этому есть какое-то логические объяснение? Не знаете случайно?
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Dmitry Titov
мне кажется, что layout нужно сделать complex_key_hashed если у вас ключ не число
Спасибо - помогло!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey Kostarev
Коллеги доброго времени суток
Не подскажете ка правильно создать dictionary с UUID в качестве peimay key.
Создаю Dictonary:
CREATE DICTIONARY SalesOfProductsFromStock.UUIDProducts
(
   primaryKey UUID,
   КодТовара UInt64,
   Название String,
   ЕдиницыИзмерения String,
   Описание String,
   Цена Float32
)
PRIMARY KEY primaryKey
SOURCE(FILE(PATH '/var/lib/clickhouse/user_files/SalesOfProductsFromStock/UUIDProducts.csv' FORMAT 'CSV'))
LIFETIME(MIN 0 MAX 300)
LAYOUT(HASHED) ;

Пытаюсь экспортировать CSV-файл
"02420a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234
"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пластиковая",44

Получаю:
Code: 27. DB::Exception: Received from localhost:9000. DB::Exception: Cannot parse input: expected '"' before: 'a00-070a-11ea-b547-26fd09492fb4",124,"Карандаш","штук","",234\n"02420a00-070a-11ea-b547-26fd0948f418",123,"Ручка","штук","ручка пла�': (at row 1)

Row 1:
Column 0,   name: primaryKey,                       type: UInt64,  parsed text: "<DOUBLE QUOTE>02420"ERROR
>layout нужно сделать complex_key_hashed
+1

не делайте имена полей киррилицей (по крайней мере у таблиц), на диске имена файлов кодируются через %4564676%353454 и вылетают за максимально возможную длину в ext4
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Στέφανος Σαμαρδάκης
А этому есть какое-то логические объяснение? Не знаете случайно?
кажется был рейс или что-то такое, и это роняло КХ
источник

ΣΣ

Στέφανος Σαμαρδάκης... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
кажется был рейс или что-то такое, и это роняло КХ
Спасибо.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexei
Всем доброго дня!
Прошу совета у знающих людей. Возникла следующая проблема. Необходимо произвести резервное копирование таблицы, данные в которой распределены на нескольких дисках.  Вопрос  заключается в том, как правильно бекапить и восстанавливать такие таблицы.
При бекапе с помощью ALTER TABLE  table_name FREEZE PARTITION 'partition_name'; создаются хардлинки в папке shadow на каждом диске.
После чего бекапы со всех дисков удаленно копируются на сервер бекапов.
При восстановлении данных я помещаю эти бекапы в папку detached одного из дисков и с помощью ATTACH PARTITION закидываю данные в таблицу. Однако при таком подходе все данные из бекапа заливаются только на 1 диск. Существует ли механизм, при котором данные из бекапа будут распределяться по всем дискам, согласно storage policy таблицы?
Спасибо
attach переименовывает каталоги, это выполняется мнгновенно и атомарно когда файлы на одном диске.

вы пробовали разложить в detached на разных дисках ?

т.е. attach принципиально не будет атачить файлы с другого диска
источник