Size: a a a

ClickHouse не тормозит

2020 August 19

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
на втором шарде:
<Warning> followers.user_geo: Part 53_13287_13287_0 is covered by 53_13287_13708_131 but should be merged into 53_8655_13287_4364. This shouldn't happen often.
2020.08.19 12:35:58.372644 [ 93237 ] {} <Error> followers.user_geo: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 49, e.displayText() = DB::Exception: Part 53_8655_13287_4364 intersects next part 53_13287_13708_131 (state Committed). It is a bug., Stack trace (when copying this message, always include the lines below)
рестартовали КХ ?  или зукиперы все ? или что?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
рестартовали КХ ?  или зукиперы все ? или что?
когда настраивал в ЗК джайдест
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
когда настраивал в ЗК джайдест
я не понимаю что случилось, я бы делал alter table detach partition / alter table attach partition
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я не понимаю что случилось, я бы делал alter table detach partition / alter table attach partition
я так понимаю на этот момент лучше остановить INSERT в КХ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
я так понимаю на этот момент лучше остановить INSERT в КХ?
да, а вы все еще не остановили что-ли?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
нет
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane таки на всех нодах я так понимаю ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane таки на всех нодах я так понимаю ?
на одной из реплик в каждом шарде, точнее проблема на одном только шарде, поэтому ТОЛЬКО на одном сервере
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
ща попробую
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
на втором все что сдетачится останется в папке detached , надо будет удалить (rm содержимое detached) после
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
на одной из реплик в каждом шарде, точнее проблема на одном только шарде, поэтому ТОЛЬКО на одном сервере
на одном сервер данной шарды? у меня просто одна шарда
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
т.е любой сервер(реплика) данной шарды
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
т.е любой сервер(реплика) данной шарды
да
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
получается делаю детач, иду на второй серве дропаю все что в директории detach и потом уже делаю аттач?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artem
@nyoroon очень сомневаюсь я насчёт того, что данные в колонке анализируются и собираются в кастомные словари. Иначе, у меня бы compress ratio был в 2 раза больше, чем 2.27
при чем тут колонка, КХ собирает bin файлик, и компрессит блоки по 64кб - 1мб (в зависимости от настройки). КХ не управляет zstd , zstd видит только блок (64 кб)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
получается делаю детач, иду на второй серве дропаю все что в директории detach и потом уже делаю аттач?
нет
источник

A

Artem in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
при чем тут колонка, КХ собирает bin файлик, и компрессит блоки по 64кб - 1мб (в зависимости от настройки). КХ не управляет zstd , zstd видит только блок (64 кб)
Ну так сжимает он каждую колонку своим алгоритмом.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
получается делаю детач, иду на второй серве дропаю все что в директории detach и потом уже делаю аттач?
detach / attach
если все хорошо удаляем из detached (хоть через неделю)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artem
Ну так сжимает он каждую колонку своим алгоритмом.
КХ скармливает ZSTD блок 64 кб и говорит какой уровень ZSTD, полученное на выходе пишет в файл. Это все.
поставьте уровень выше - 9, поставьте блок 1МБ
источник

A

Artem in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
detach / attach
если все хорошо удаляем из detached (хоть через неделю)
Ну так а где я этому противоречу?
источник