D
cityHash64(userId)%100
Size: a a a
2020 August 31
M
cityHash64(userId)%100
Спасибо, надо подумать в этом направлении. Я почему-то думал в сторону юзер=партиция.
КТ
DROP PARTITION работает в фоне. вы ждали? если да, надо сравнивать логи/открывать баг. У нас вон было, что DROP PARTITION совсем ничего не делал пока детач-аттач таблицы не сделали
Рестарт делал. detach/attach с тем же эффектом. Ждал, да. На диске продолжают валяться парты вроде
В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
19700101_19700101_0_0_0.В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
[zk: 127.0.0.1:3101(CONNECTED) 1] get /test/test_partition_drop_bug/metadata
metadata format version: 1
date column: d
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
[zk: 127.0.0.1:3101(CONNECTED) 2] get /test/test_partition_drop_bug2/metadata
metadata format version: 1
date column:
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
data format version: 1
partition key: toYYYYMM(d)
sorting key: d, s
D
Рестарт делал. detach/attach с тем же эффектом. Ждал, да. На диске продолжают валяться парты вроде
В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
19700101_19700101_0_0_0.В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
[zk: 127.0.0.1:3101(CONNECTED) 1] get /test/test_partition_drop_bug/metadata
metadata format version: 1
date column: d
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
[zk: 127.0.0.1:3101(CONNECTED) 2] get /test/test_partition_drop_bug2/metadata
metadata format version: 1
date column:
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
data format version: 1
partition key: toYYYYMM(d)
sorting key: d, s
>Will not drop partition 19700101_19700101_0_0_0, it is empty.
о вот прямо так же было.
на ЗК думаю ок, там обратная совместимость (date column vs partition key).
после дропа партишн видется в system.parts active=1 or 0?
о вот прямо так же было.
на ЗК думаю ок, там обратная совместимость (date column vs partition key).
после дропа партишн видется в system.parts active=1 or 0?
D
Рестарт делал. detach/attach с тем же эффектом. Ждал, да. На диске продолжают валяться парты вроде
В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
19700101_19700101_0_0_0.В логе такое
2020.08.06 17:18:14.357323 [ 459 ] {c78f373d-0067-4cf8-82b1-a363e1cb013d} <Information> database.table: Will not drop partition 19700101_19700101_0_0_0, it is empty.
В зк тоже таблицы созданные новым и старым синтаксисом различаются:
[zk: 127.0.0.1:3101(CONNECTED) 1] get /test/test_partition_drop_bug/metadata
metadata format version: 1
date column: d
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
[zk: 127.0.0.1:3101(CONNECTED) 2] get /test/test_partition_drop_bug2/metadata
metadata format version: 1
date column:
sampling expression: s
index granularity: 8192
mode: 0
sign column:
primary key: d, s
data format version: 1
partition key: toYYYYMM(d)
sorting key: d, s
https://t.me/clickhouse_ru/178472
вы именно детач-аттач самой таблицы делали? или конкретных партишнов? (у нас сработало именно после детача всей таблицы)
вы именно детач-аттач самой таблицы делали? или конкретных партишнов? (у нас сработало именно после детача всей таблицы)
КТ
>Will not drop partition 19700101_19700101_0_0_0, it is empty.
о вот прямо так же было.
на ЗК думаю ок, там обратная совместимость (date column vs partition key).
после дропа партишн видется в system.parts active=1 or 0?
о вот прямо так же было.
на ЗК думаю ок, там обратная совместимость (date column vs partition key).
после дропа партишн видется в system.parts active=1 or 0?
active: 1
если заменить ReplicatedMergeTree() на MergeTree(), баг не воспроизводится
КТ
https://t.me/clickhouse_ru/178472
вы именно детач-аттач самой таблицы делали? или конкретных партишнов? (у нас сработало именно после детача всей таблицы)
вы именно детач-аттач самой таблицы делали? или конкретных партишнов? (у нас сработало именно после детача всей таблицы)
именно таблицы самой
я впрочем делал и рестарт, что так же не помогло
я впрочем делал и рестарт, что так же не помогло
D
active: 1
если заменить ReplicatedMergeTree() на MergeTree(), баг не воспроизводится
ну да.
в репликейтед дроп проходит по более сложной схеме (остановка репликаций, очистка очереди, итд)
у вас что нибудь висит в system.replication_queue?
дропаете на лидере (хотя у нас в 20.3 дроп автоматом делался на лидере судя по трейсам)
в репликейтед дроп проходит по более сложной схеме (остановка репликаций, очистка очереди, итд)
у вас что нибудь висит в system.replication_queue?
дропаете на лидере (хотя у нас в 20.3 дроп автоматом делался на лидере судя по трейсам)
КТ
на лидере.
SELECT count()
FROM system.replication_queue
┌─count()─┐
│ 0 │
└─────────┘
КТ
очередь пуста
S
коллеги) подскажите а кто как кликхаус разворачивает в кубернетис ?
S
хельмчарты или clickhouse-operator ?
D
на лидере.
SELECT count()
FROM system.replication_queue
┌─count()─┐
│ 0 │
└─────────┘
а на остальных репликах тоже пуста?
КТ
минутку...
КТ
да, также
D
пилите баг все равно, ненормально это
КТ
alter table test_partition_drop_bug1 DELETE where d = toDate('0000-00-00');вот так получилось
КТ
вообще не приходило в голову дропать парт мутацией... но вот пришло и так сработало
КТ
Кстати парт остался. Их стало два
active: 0
rows: 1
и второй
active: 1
rows: 0
active: 0
rows: 1
и второй
active: 1
rows: 0