Size: a a a

ClickHouse не тормозит

2021 January 15

MM

Michael Marechenok in ClickHouse не тормозит
ls /etc/clickhouse-server/
источник

MM

Michael Marechenok in ClickHouse не тормозит
users.xml
источник

MM

Michael Marechenok in ClickHouse не тормозит
или речь про авто-логин клиентом?
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
Michael Marechenok
или речь про авто-логин клиентом?
да
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
чтобы в cli пароль не передавать
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
ll /etc/clickhouse-client/
тогда)
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
нашёл, спс
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
~/.clickhouse-client/config.xml
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
да, сорь, этот
источник

s

ssv in ClickHouse не тормозит
ssv
Как надо-то? ))
like '%\\\\\\\\%' вот так... заэкранируй экран и символ слеша))
источник

TT

Taika Tytto in ClickHouse не тормозит
Всем привет

У меня возникла проблема - есть табличка которая читает из кафки, есть ее копия с MergeTree созданная для матвью, и есть матвью который с простым условием должен складывать данные в табличку.

Все бы хорошо, но некоторые записи начинают дуплицироваться просто так, в чем может быть причина?

Из необычного когда создавался MergeTree то использовался старый синтаксис, а именно так :

...
date Date MATERIALIZED toDate(Timestamp)
) ENGINE = MergeTree(date, date, 8192);
источник

Puma Вольфович... in ClickHouse не тормозит
Есть интересная проблема, присуствует в таблице битый парт и кликлаус ругается что не может его смержить, а когда мытаюсь его детачнуть, то говорит что парт участвует в мерже


2021.01.15 12:05:54.200281 [ 1142972 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking data of part 20201130_20201130_499695_499707_2.
2021.01.15 12:05:54.892738 [ 1142967 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking part 20201130_20201130_499695_499707_2
2021.01.15 12:05:54.897808 [ 1143453 ] {} <Error> default.events (8005f254-5c8e-45ed-9a03-8ba6d4b05bce): auto DB::StorageReplicatedMergeTree::processQueueEntry(ReplicatedMergeTreeQueue::SelectedEntryPtr)::(anonymous class)::operator()(DB::StorageReplicatedMergeTree::LogEntryPtr &) const: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 15729662. Bytes expected: 268435455.: (while reading column BillingURL): (while reading from part /var/lib/clickhouse/store/800/8005f254-5c8e-45ed-9a03-8ba6d4b05bce/20201130_20201130_499695_499707_2/ from mark 14 with max_rows_to_read = 8192): While executing MergeTreeSequentialSource: Cannot fetch required block. Stream PipelineExecuting, part 2, Stack trace (when copying this message, always include the lines below):



ALTER TABLE events
   DETACH PART '20201130_20201130_499695_499707_2'

Query id: 55348067-6a11-40ea-83ae-235d5ffb4aaf

Received exception from server (version 20.12.5):
Code: 384. DB::Exception: Received from localhost:9000. DB::Exception: Part 20201130_20201130_499695_499707_2 is currently participating in a background operation (mutation/merge), try again later.
источник

S

Slach in ClickHouse не тормозит
Taika Tytto
Всем привет

У меня возникла проблема - есть табличка которая читает из кафки, есть ее копия с MergeTree созданная для матвью, и есть матвью который с простым условием должен складывать данные в табличку.

Все бы хорошо, но некоторые записи начинают дуплицироваться просто так, в чем может быть причина?

Из необычного когда создавался MergeTree то использовался старый синтаксис, а именно так :

...
date Date MATERIALIZED toDate(Timestamp)
) ENGINE = MergeTree(date, date, 8192);
источник

ДЗ

Денис Загитов... in ClickHouse не тормозит
Edya
Привет, Денис!

можно еще ставить только при выполнении тяжелых запросов:
SET max_memory_usage = 100000000000;
Спасибо, Эд)
источник

PR

Paul Reshetnikov in ClickHouse не тормозит
всем привет! подскажите плиз, есть ли какой-то быстрый способ получить последнюю запись с условием?
условно
есть колонка, где есть значение - это значение всегда из определённого массива (допустим колонка color == одно из [red, green, blue])
каким образом оптимально получить последнюю строку со значением в колонке color "red", к примеру?
источник

TT

Taika Tytto in ClickHouse не тормозит
Прочитал, спасибо

И получается на некоторых версиях клика, предположительно на "старых" данные могут дублироваться?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Taika Tytto
Прочитал, спасибо

И получается на некоторых версиях клика, предположительно на "старых" данные могут дублироваться?
на новых тоже в редких случаях,
at least once пока только поддерживаетс
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
Taika Tytto
Прочитал, спасибо

И получается на некоторых версиях клика, предположительно на "старых" данные могут дублироваться?
У вас кафка брокер стабильно работает? Кх нормально оффсеты коммитит?
источник

TT

Taika Tytto in ClickHouse не тормозит
Oleg Gavrilov
У вас кафка брокер стабильно работает? Кх нормально оффсеты коммитит?
Не знаю как ответить на вопрос.

Сравниваем клик с куду, там из того же топика льется и дуплицирования нет
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Puma Вольфович
Есть интересная проблема, присуствует в таблице битый парт и кликлаус ругается что не может его смержить, а когда мытаюсь его детачнуть, то говорит что парт участвует в мерже


2021.01.15 12:05:54.200281 [ 1142972 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking data of part 20201130_20201130_499695_499707_2.
2021.01.15 12:05:54.892738 [ 1142967 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking part 20201130_20201130_499695_499707_2
2021.01.15 12:05:54.897808 [ 1143453 ] {} <Error> default.events (8005f254-5c8e-45ed-9a03-8ba6d4b05bce): auto DB::StorageReplicatedMergeTree::processQueueEntry(ReplicatedMergeTreeQueue::SelectedEntryPtr)::(anonymous class)::operator()(DB::StorageReplicatedMergeTree::LogEntryPtr &) const: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 15729662. Bytes expected: 268435455.: (while reading column BillingURL): (while reading from part /var/lib/clickhouse/store/800/8005f254-5c8e-45ed-9a03-8ba6d4b05bce/20201130_20201130_499695_499707_2/ from mark 14 with max_rows_to_read = 8192): While executing MergeTreeSequentialSource: Cannot fetch required block. Stream PipelineExecuting, part 2, Stack trace (when copying this message, always include the lines below):



ALTER TABLE events
   DETACH PART '20201130_20201130_499695_499707_2'

Query id: 55348067-6a11-40ea-83ae-235d5ffb4aaf

Received exception from server (version 20.12.5):
Code: 384. DB::Exception: Received from localhost:9000. DB::Exception: Part 20201130_20201130_499695_499707_2 is currently participating in a background operation (mutation/merge), try again later.
может поможет
system stop merges  default.events
источник