Size: a a a

ClickHouse не тормозит

2020 August 19

КТ

Константин Трофимов... in ClickHouse не тормозит
блин, в голове все звучало короче и проще (((
источник

N

No1 in ClickHouse не тормозит
таблички не replicated, MergeTree обычные
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
Кроме groupArrayMovingAvg есть еще какие-нибудь средние? гауссовский есть ?
источник

N

No1 in ClickHouse не тормозит
Константин Трофимов
блин, в голове все звучало короче и проще (((
так всегда 🙂 в голове явно изи, особенно когда уже проделал пару раз
источник

D

Dj in ClickHouse не тормозит
добрый день, никто не знает как перевести тип UInt64/32 или Decimal в тип bitmap, чтобы дальше делать bitmapToArray

https://clickhouse.tech/docs/en/sql-reference/functions/bitmap-functions/#bitmap_functions-bitmapbuild
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
No1
таблички не replicated, MergeTree обычные
сорян, тогда я тебе много лишнего понаписал
тогда SELECT INSERT как предлагали другие либо таскать парты
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
ребят обнаружил такую ошибку во время OPTIMIZE: DB::Exception: Cannot select parts for optimization: Part 53_13288_13288_0 has already been assigned a merge into 53_13287_13708_131.

смотрю в select partition, name ,active from system.parts where name in ('53_13288_13288_0','53_13287_13708_131’), куска 53_13287_13708_131 нету
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
по этой причине видимо не работают мержи
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
ребят обнаружил такую ошибку во время OPTIMIZE: DB::Exception: Cannot select parts for optimization: Part 53_13288_13288_0 has already been assigned a merge into 53_13287_13708_131.

смотрю в select partition, name ,active from system.parts where name in ('53_13288_13288_0','53_13287_13708_131’), куска 53_13287_13708_131 нету
либо уже идет этот мерж этого куска 53_13287_13708_131 либо он запланирован.
см таблицы replication_queue merges
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
в очереди есть
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Igor Levdansky
Всем привет, прочитал про prewhere, но немного не понял. Поясните, плиз, я так понимаю, он может сработать, а может не сработать? Когда он не срабатывает, оптимизация не происходит, результат гарантируется тот же что и при where? То есть нет же необходимости писать:
SELECT * FROM table PREWHERE some_cond WHERE some_cond
есть некоторые эвристики которые решают при optimize_move_to_prewhere=1 стоит предикат переносить в prewhere или нет

I'll try to explain how I understand prewhere

create table (a,b,c,d) order by a,b

select a,b,c,d from prewhere a=? and b=? and c=?

CH will use index, navigate to marks a=? and b=?
Using marks  filter column c ang gets a new set of marks (more narrow) for c=?
then CH reads column d and gets d values for new set of marks
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
в очереди есть
в replication_queue есть поля про ошибки и postpone
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane в очереди есть, но в поле last_exception: Code: 49, e.displayText() = DB::Exception: Part 53_13287_13708_131 intersects previous part 53_8655_13287_4364 (state Committed). It is a bug. (version 20.5.2.7 (official build))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane в очереди есть, но в поле last_exception: Code: 49, e.displayText() = DB::Exception: Part 53_13287_13708_131 intersects previous part 53_8655_13287_4364 (state Committed). It is a bug. (version 20.5.2.7 (official build))
грейпайте лог кх по этим партам(53_8655_13287_4364 53_13287_13708_131) , надо понять что произошло
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, кто-то сталкивался с такой ошибкой при использовании движка или функции ODBC ?
Как это вылечить?
DB::Exception: Failed to parse quoting style from '"' for service clickhouse-odbc-bridge.
@den_crane насколько помню вы плотно с вертикой работаете(работали). Пробовали через ODBC из CH подключиться к ней?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
@den_crane насколько помню вы плотно с вертикой работаете(работали). Пробовали через ODBC из CH подключиться к ней?
нет, вообще использую только http (для интеграции) , остальное недостаточно хорошо работает в КХ (по моим меркам)
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
грейпайте лог кх по этим партам(53_8655_13287_4364 53_13287_13708_131) , надо понять что произошло
@den_crane <Error> followers.user_geo: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 49, e.displayText() = DB::Exception: Part 53_13287_13512_57 intersects previous part 53_8655_13287_4364 (state Committed). It is a bug.,
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
<Error> followers.user_geo: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 49, e.displayText() = DB::Exception: Part 53_13287_13708_131 intersects previous part 53_8655_13287_4364 (state Committed). It is a bug
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
это в одной шарде
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
на втором шарде:
<Warning> followers.user_geo: Part 53_13287_13287_0 is covered by 53_13287_13708_131 but should be merged into 53_8655_13287_4364. This shouldn't happen often.
2020.08.19 12:35:58.372644 [ 93237 ] {} <Error> followers.user_geo: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 49, e.displayText() = DB::Exception: Part 53_8655_13287_4364 intersects next part 53_13287_13708_131 (state Committed). It is a bug., Stack trace (when copying this message, always include the lines below)
источник