Size: a a a

ClickHouse не тормозит

2021 January 20

D

Dmitry in ClickHouse не тормозит
Munir
Для чего вам категории? это справочники?
Да, это справочники
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dmitry
Всем привет! подскажите пожалуйста, как лучше всего организовать хранение вложенных списков , категории товаров, услуг , домов?


например:
-География
 - Московская область
  - Москва
  -Пр. Мира
Товары
-Для дома
  -для дачи
Для Работы
-Спец одежда
.....
Есть иеархические словари
источник

M

Munir in ClickHouse не тормозит
Dmitry
Да, это справочники
структуру данных надо делать такую, чтобы удобнее было джойнить на основные данные. кх не предназначен для update - поэтому все update через полное обновление, через insert и группировкой перед join. или внешние справочники, которые или в другой БД, или в файле на диске. внешние справочники подключаются через create dictionary.  структуру иерархическую или нет - вы сами должны определить, как вам удобнее (если неудобно, то view написать и словарь на него сделать, если удобно, то есть иерархические словари).
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Привет
По использованию цпу ишью все-еще со мной
(КХ апдейт 20.4.3 > 20.12.4)
* у меня есть овер-партицированные по меркам КХ таблицы - как понимаю именно в этом главный импакт на "фон" - с этим буду решать конечно но надеялся отложить на "чуть позже"
** стораж-полисей и пережатия не декларировал и в system.merges / процесслисте / мутациях чисто +- и обычного для ситуации дискового оверхэда не вижу
*** хотелось бы без рестарта понять в том ли направлении копаю
**** кластера без реплик - только шарды

проверяю теорию про бэкграунд-процессы (именно background_schedule_pool смущает): то что алгритм который выбирает/проверяет "нужно ли что-нибудь сделать" отъедает много цпу в моменте именно инициализации - т.е. чекнуть "что делать и есть ли что в принципе"
***** подчистка мусора в таблицах/партишках чуть снизила "фоновую загрузку" цпу, но она на текущий момент все-равно ~33% → ~25%

вопросы:
1 - background_schedule_pool tasks это какие? *у меня все таблицы - простые MergeTree, т.е. в моём случае только рефрэш DNS и rm старых партов?
2 - есть ли какой-то SYSTEM STOP XXX для проверки теории↑ ? Не нашел подходящего на https://clickhouse.tech/docs/en/sql-reference/statements/system/#query-language-system-mergetree но эт ведь не всегда показатель)
2.1 - если я для теста накидывю разных "SYSTEM STOP ... db.table" - где потом я смогу увидеть все текущие (действующие) запреты?
3 - может ли мне тюнинг чего-то из system.merge_tree_settings помочь в сабже (например number_of_free_entries_in_pool_to_lower_max_size_of_merge приопустить)?
источник

VE

Victor Ermakov in ClickHouse не тормозит
Коллеги, здравствуйте. Правильно ли я понимаю,что materialized view игнорирует аттачи партиций в таблицу, на которую оно смотрит?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Victor Ermakov
Коллеги, здравствуйте. Правильно ли я понимаю,что materialized view игнорирует аттачи партиций в таблицу, на которую оно смотрит?
с которой у нее селект? Или в которую пишет
источник

VE

Victor Ermakov in ClickHouse не тормозит
Вячеслав Владимиров
с которой у нее селект? Или в которую пишет
Из которой селект
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
ПО идее - да. ИНсерта ж нет
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
но для 100% надежности - можно отключить (или детачнуть)
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Вопрос, нашел опечатки в документации (если тупо скопировать код и вставить то КХ не поднимется). Не подскажите куда issue создать?
источник

MA

Mark Andreev in ClickHouse не тормозит
Сергей Фесенко
Вопрос, нашел опечатки в документации (если тупо скопировать код и вставить то КХ не поднимется). Не подскажите куда issue создать?
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Спасибо.
Просто уточнил, так как там есть репозиторий https://github.com/ClickHouse/readthedocs-stub
Сейчас создам
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
А кто то уже пользовался параметром default_replica_path и default_replica_name? Не подскажите с какой версии КХ он работает? В changelog найти не могу инфу...
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Друзья, спасайте. Работал Кликхаус исправно 9 мес на продакшне, не могли нарадоваться. Уже около 50 таблиц клиентских. Сегодня вдруг упал конкретно, ничего не можем сделать уже 1 час.
Вот такая ошибка при перехапуске:

<Error> Application: DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0) AS click_transaction_id_tmp_alter4665484246427899840, 'UUID’)..

и болшой аутпут.

Кто-нибудь, пожалуйста, помогите, что можно сделать чтобы запустить всё? Гуглим, ничего не можем найти
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alex Zelensky
Друзья, спасайте. Работал Кликхаус исправно 9 мес на продакшне, не могли нарадоваться. Уже около 50 таблиц клиентских. Сегодня вдруг упал конкретно, ничего не можем сделать уже 1 час.
Вот такая ошибка при перехапуске:

<Error> Application: DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0) AS click_transaction_id_tmp_alter4665484246427899840, 'UUID’)..

и болшой аутпут.

Кто-нибудь, пожалуйста, помогите, что можно сделать чтобы запустить всё? Гуглим, ничего не можем найти
сам кх стартует то?

> Вот такая ошибка при перехапуске:
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Нет не стартует вообще, ошибка и всё
источник

DT

Dmitry Titov in ClickHouse не тормозит
Мутации запускали?
источник

D

Dj in ClickHouse не тормозит
Alex Zelensky
Друзья, спасайте. Работал Кликхаус исправно 9 мес на продакшне, не могли нарадоваться. Уже около 50 таблиц клиентских. Сегодня вдруг упал конкретно, ничего не можем сделать уже 1 час.
Вот такая ошибка при перехапуске:

<Error> Application: DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0) AS click_transaction_id_tmp_alter4665484246427899840, 'UUID’)..

и болшой аутпут.

Кто-нибудь, пожалуйста, помогите, что можно сделать чтобы запустить всё? Гуглим, ничего не можем найти
смотрите то что ДО этой ошибки
источник

AZ

Alex Zelensky in ClickHouse не тормозит
Dmitry Titov
Мутации запускали?
Мутации не запускали, умышленно, не Альтерили, может в коде где-то вылез случайно такой запрос
источник

M

Mishanya in ClickHouse не тормозит
а скиньте весь трейс
источник