Size: a a a

ClickHouse не тормозит

2020 July 09

DC

Denny Crane (I don't... in ClickHouse не тормозит
Piotr Liakhavets
в xml вроде нет ограничений (только сеттинги в секции profile типа макс. память и логгинг запросов)

т.е. каким-то образом того-же юзера default завели через новую механику create user ... ?

* при поппытках селекта в system.quotas и system.quota_usage - тот же эксепшен
c чего вы взяли что default создан через create user ?
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
c чего вы взяли что default создан через create user ?
Извините
видимо плохо формулирую
есть возможность через xml разрешить просмотр квот?
в 19-й версии точно работал show quota usage all от этого пользователя и в 20.<4  вроде тоже не натыкались
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Piotr Liakhavets
Извините
видимо плохо формулирую
есть возможность через xml разрешить просмотр квот?
в 19-й версии точно работал show quota usage all от этого пользователя и в 20.<4  вроде тоже не натыкались
не знаю, сделайте тикет на гитхабе, спросим у автора
источник

MP

Mikhail Petrov in ClickHouse не тормозит
Привет.
После обновления на 20.5.2 не получается сделать clear column на колонку, которая участвует в дефолте другой колонки. Условно

│ uuid                         │ String          │ DEFAULT      │ ''                                                                                                                                                                                                                                                        
│ uuid_compressed              │ FixedString(16) │ DEFAULT      │ UUIDStringToNum(uuid)                                                                                                                                                                                                                                      

alter clear column uuid
дает ошибку
Code: 44. DB::Exception: Received from ch7r1:9000. DB::Exception: Cannot drop column uuid, because column uuid_compressed depends on it.
источник

MP

Mikhail Petrov in ClickHouse не тормозит
в changelog на эту тему бегло ничего не нашлось.
источник

MP

Mikhail Petrov in ClickHouse не тормозит
Есть вот такое - https://github.com/ClickHouse/ClickHouse/issues/6913
Но это про индексы. Тут колонки не в ключах.
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Добрый день!

Есть Kafka-таблица с одним топиком.
Что-то на подобие такой:

CREATE TABLE IF NOT EXISTS kafka ON CLUSTER '{cluster}' (
   field1 String,
   field2 Nullable(String),
   field3 Nullable(String)
)
ENGINE = Kafka
SETTINGS
   kafka_broker_list = 'broker',
   kafka_topic_list = 'topic',
   kafka_group_name = 'group',
   kafka_format = 'JSONEachRow'

С неё данные забирают 2 MV.
Одна при условии что field2 и field3 is NULL, вторая что field2 и field3 is not NULL.

Не будет ли при таком варианте "потери" сообщений?
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Piotr Liakhavets
Привет
подскажите как обойти:
clickhouse-client -mn
ClickHouse client version 20.4.3.16 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.4.3 revision 54434.

fsn1-prod-bb-st01.etrigan.net :) SHOW GRANTS;

SHOW GRANTS

┌─GRANTS─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ GRANT ALTER, CREATE, DROP, INSERT, INTROSPECTION, KILL QUERY, OPTIMIZE, SELECT, SHOW, SOURCES, SYSTEM, TRUNCATE, dictGet ON *.* TO default │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.001 sec.

fsn1-prod-bb-st01.etrigan.net :) SHOW QUOTA USAGE;

SHOW QUOTA USAGE

Received exception from server (version 20.4.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW QUOTAS ON *.*.

0 rows in set. Elapsed: 0.004 sec.


* юзеры - по старинке заведены через users.xml
** текущий юзер всегда был без ограничений
*** пробовал себе же грант - не прокатывает:
fsn1-prod-bb-st01.etrigan.net :) grant SHOW QUOTAS ON *.* TO CURRENT_USER;

GRANT SHOW QUOTAS ON *.* TO CURRENT_USER

Received exception from server (version 20.4.3):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: default: Not enough privileges. To execute this query it's necessary to have the grant SHOW QUOTAS ON *.* WITH GRANT OPTION.
@vitlibar, может Вы в курсе, и можете подсказать:
юзеры и квоты заведены в xml
(новой моделью прав еще не переписывали)
в версии 20.4.3 не могу посмотреть квоты↑ (и не могу найти как грантануть такое право)
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Да
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mikhail Petrov
Привет.
После обновления на 20.5.2 не получается сделать clear column на колонку, которая участвует в дефолте другой колонки. Условно

│ uuid                         │ String          │ DEFAULT      │ ''                                                                                                                                                                                                                                                        
│ uuid_compressed              │ FixedString(16) │ DEFAULT      │ UUIDStringToNum(uuid)                                                                                                                                                                                                                                      

alter clear column uuid
дает ошибку
Code: 44. DB::Exception: Received from ch7r1:9000. DB::Exception: Cannot drop column uuid, because column uuid_compressed depends on it.
заводите тикет
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladyslav Sakun
Добрый день!

Есть Kafka-таблица с одним топиком.
Что-то на подобие такой:

CREATE TABLE IF NOT EXISTS kafka ON CLUSTER '{cluster}' (
   field1 String,
   field2 Nullable(String),
   field3 Nullable(String)
)
ENGINE = Kafka
SETTINGS
   kafka_broker_list = 'broker',
   kafka_topic_list = 'topic',
   kafka_group_name = 'group',
   kafka_format = 'JSONEachRow'

С неё данные забирают 2 MV.
Одна при условии что field2 и field3 is NULL, вторая что field2 и field3 is not NULL.

Не будет ли при таком варианте "потери" сообщений?
не будет
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Благодарю
источник

Д

Данияр in ClickHouse не тормозит
joined_subquery_requires_alias

Как этот параметр поставить на 0 в конфигах?

@den_crane
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Данияр
joined_subquery_requires_alias

Как этот параметр поставить на 0 в конфигах?

@den_crane
В profile users.xml
источник

Д

Данияр in ClickHouse не тормозит
спасибо
источник

MP

Mikhail Petrov in ClickHouse не тормозит
источник

Д

Данияр in ClickHouse не тормозит
Piotr Liakhavets
В profile users.xml
спасибо большое
источник

Д

Данияр in ClickHouse не тормозит
время сэкономили
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Антон Куляшов
Всем привет. Подскажите пожалуйста, почему может не аттачится партишн?
SELECT *
FROM system.detached_parts
LIMIT 1

┌─database─┬─table─┬─partition_id─┬─name────────────────────┬─disk────┬─reason───┬─min_block_number─┬─max_block_number─┬─level─┐
│ test    │ foo │ 20181219     │ 20181219_20181219_0_1_1 │ default │ 20181219 │                0 │                1 │     1 │
└──────────┴───────┴──────────────┴─────────────────────────┴─────────┴──────────┴──────────────────┴──────────────────┴───────┘


Делаю аттач
ALTER TABLE test.foo
   ATTACH PARTITION ID '20181219'


Ok.

0 rows in set. Elapsed: 0.001 sec.

А он из detached не уезжает. Что я делаю не так?
Поглядел логи, увидел
Looking for parts for partition 20181219 in detached/
0 of them are active

Мы пытаемся на новый синтаксис создания таблиц переехать, зафризили таблицы, дропнули их, создаем по новому синтаксису, и не можем зааттачить. Что-то упускаем?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
Поглядел логи, увидел
Looking for parts for partition 20181219 in detached/
0 of them are active

Мы пытаемся на новый синтаксис создания таблиц переехать, зафризили таблицы, дропнули их, создаем по новому синтаксису, и не можем зааттачить. Что-то упускаем?
ну так не совместимы они. Только insert select

Я чего-то  не понимаю, всера вы писали про create table, это был тест перед апгрейдом типа или что
источник