Size: a a a

ClickHouse не тормозит

2021 February 26

AR

Alimar Ramazanov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
реконект нужен superuser-у,   в старой сессии нету права этого
Сделал реконект. Всё равно не получается
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alimar Ramazanov
Сделал реконект. Всё равно не получается
так вам datagrip не дает запрос выполнить, он считает что это неправильный синтаксис, он отстал на годы,
возьмите любой другой выполнятор запросов
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и кстати фотографии экрана немодно уже выкладывать, тикток рулит
источник

A

Assasin in ClickHouse не тормозит
Подскажите, флаг force_restore_data - это только к репликам относится или в принципе можно пробовать при любых проблемах даже с нереплицируемыми таблицами?
источник

A

Assasin in ClickHouse не тормозит
В логи спамит постоянно, думал это можно решить force_restore_data, но видимо, нужно делать что-то другое?
> DB::Exception: Part 197001_323520_933352_40_1006555 intersects next part 197001_901466_962016_7 (state Committed).
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Assasin
Подскажите, флаг force_restore_data - это только к репликам относится или в принципе можно пробовать при любых проблемах даже с нереплицируемыми таблицами?
только к реплицируемым
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Assasin
В логи спамит постоянно, думал это можно решить force_restore_data, но видимо, нужно делать что-то другое?
> DB::Exception: Part 197001_323520_933352_40_1006555 intersects next part 197001_901466_962016_7 (state Committed).
что-то другое. Надо реатачить партицию.
НО сначала нужно почитать логи и понять как это случилось
источник

A

Assasin in ClickHouse не тормозит
боюсь этой проблеме уже настолько  много времени, что логов на момент поломки уже нет)
источник

A

Assasin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
что-то другое. Надо реатачить партицию.
НО сначала нужно почитать логи и понять как это случилось
А где можно почитать, как реаттачить?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Assasin
боюсь этой проблеме уже настолько  много времени, что логов на момент поломки уже нет)
alter table detach partition id
проверяем папку detached
alter table detach partition id
читаем лог КХ
проверяем папку detached / удаляем ошметки
источник

A

Assasin in ClickHouse не тормозит
Спасибо большое, попробую!
источник

FN

Fred Navruzov in ClickHouse не тормозит
Помогите пожалуйста со связкой view + materialized view
У меня есть
- view  insert_view (как я понял - в КХ это просто сохраненный для удобства запрос, без материализации), он формирует из 2 таблиц (джойн, антипаттерн, но все же) данные для вставки в AggregatedMergeTree таблицу mv_dest
-  materialized view  mv (созданный через to синтаксис (как в примере https://gist.github.com/den-crane/6eff375752a236a456e1b3dc2ca7db62) и отсылающий инсерты в mv_dest таблицу

Как я понял из https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf - триггер вставки определяется по первой "настоящей таблице" в FROM секции
So MV searches for the first real table in the From section and triggers on inserts into this table only.
но если я создаю mv как в запросе ниже, то у меня вью не обновляется, суммы не увеличиваются и т.д., хотя новые данные в таблицу (которая должна триггетить из from секции) уже несколько раз пришли

create materialized view featurestore.mv
to featurestore.mv_dest
as select
   v.*
FROM
   featurestore.insert_view as v;
я так понимаю, что КХ не может рекурсивно залезть в  insert_view, и взять оттуда первую "настоящую" таблицу, а поскольку insert_view - это вью, то он не триггерит инсерты? нужно подставлять большой запрос вместо вью?
источник

A

Assasin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
alter table detach partition id
проверяем папку detached
alter table detach partition id
читаем лог КХ
проверяем папку detached / удаляем ошметки
Второй раз видимо attach, а не detach?
источник

AR

Alimar Ramazanov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так вам datagrip не дает запрос выполнить, он считает что это неправильный синтаксис, он отстал на годы,
возьмите любой другой выполнятор запросов
Спасибо. Попробую через clickhouse-client
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Всем привет. Запустили мутацию типа drop column if exists name. Там оно работало и зависло. Остался 1 парт, который уже 20 мин ни в какую
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Кх 20.5
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Illia Slobozhanin
Всем привет. Запустили мутацию типа drop column if exists name. Там оно работало и зависло. Остался 1 парт, который уже 20 мин ни в какую
в смысле сам alter еще висит?
в system.mutations что?
в system.merges есть эта мутация?
версия КХ ?
источник

RV

Roman Voronov in ClickHouse не тормозит
Привет! Можно ли полагаться на автоматическую конвертацию DateTime в UInt32?

Я создал таблицу с полем типа UInt32 (именно его возвращает toUnixTimestamp), чтобы перевести в него данные типа DateTime. Протестировал без функции toUnixTimestamp вставку данных в таблицу - и она сработала корректно. В документации этот кейс не нашёл.
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в смысле сам alter еще висит?
в system.mutations что?
в system.merges есть эта мутация?
версия КХ ?
SHOW PROCESSLIST пустой.
system.mutations - is_done = 1 (уже)
system.merges - пусто

system.replication_queue - висит на всех нодах КХ MERGE_PARTS. В логах - cannot fetch metadata for block id.
Селекты/инсерты работают на таблицу
источник

MM

Michael M in ClickHouse не тормозит
Привет!
Для выбора последней версии ОДНОГО объекта из движка ReplacingMergeTree использую вот такой запрос
SELECT * FROM xxx WHERE ID=? ORDER BY UpdatedTime DESC LIMIT 1

а как выбрать последние версии НЕСКОЛЬКИХ объектов? Например ID заданы через IN(...)
источник