А🐎
Если у тебя цепх версии с балансером
Size: a a a
2020 March 29
А🐎
можешь им попробовать
А🐎
отбалансить
А🐎
Посмотри еще в сторону
ceph osd reweight-by-utilizationVD
crush нет команды
VD
а как принудительно запустить перераспределение данных?
VD
веса поставил, но данные не переливаются
VD
ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
4 ssd 1.00000 0.95001 233GiB 138GiB 95.2GiB 59.09 1.04 98
3 ssd 1.00000 1.00000 233GiB 140GiB 93.2GiB 59.98 1.06 99
19 ssd 1.00000 1.00000 238GiB 128GiB 110GiB 53.83 0.95 92
18 ssd 1.00000 1.00000 233GiB 133GiB 99.4GiB 57.29 1.01 95
2 hdd 0.89999 1.00000 931GiB 498GiB 433GiB 53.52 0.94 158
5 hdd 0.89999 1.00000 931GiB 543GiB 388GiB 58.33 1.03 177
8 hdd 0.89999 0.89999 931GiB 543GiB 389GiB 58.28 1.03 166
17 hdd 0.89999 1.00000 931GiB 505GiB 426GiB 54.25 0.96 163
1 hdd 0.89999 0.84999 931GiB 500GiB 432GiB 53.66 0.95 158
11 hdd 0.89999 0.94998 931GiB 510GiB 421GiB 54.80 0.97 160
13 hdd 0.89999 1.00000 931GiB 533GiB 398GiB 57.25 1.01 163
14 hdd 0.89999 0.84999 931GiB 553GiB 378GiB 59.39 1.05 168
0 hdd 0.89999 0.99994 931GiB 517GiB 414GiB 55.52 0.98 164
10 hdd 0.89999 0.94998 931GiB 513GiB 418GiB 55.13 0.97 158
12 hdd 0.89999 0.84999 931GiB 507GiB 425GiB 54.38 0.96 152
16 hdd 0.89999 0.89999 931GiB 507GiB 424GiB 54.47 0.96 154
20 hdd 0.79999 1.00000 931GiB 556GiB 375GiB 59.70 1.05 176
21 hdd 0.90900 0.89999 931GiB 568GiB 363GiB 61.03 1.08 171
22 hdd 0.90900 1.00000 931GiB 528GiB 403GiB 56.67 1.00 161
23 hdd 0.95000 0.80000 931GiB 549GiB 382GiB 58.93 1.04 166
24 ssd 0.84999 0.85004 233GiB 228GiB 5.06GiB 97.83 1.72 73
6 hdd 0.79999 0.89999 931GiB 509GiB 422GiB 54.68 0.96 164
7 hdd 0.84999 0.84998 931GiB 497GiB 435GiB 53.35 0.94 155
9 hdd 0.79999 0.89996 931GiB 527GiB 405GiB 56.55 1.00 161
15 hdd 0.89999 0.89999 931GiB 497GiB 434GiB 53.37 0.94 154
TOTAL 19.3TiB 11.0TiB 8.37TiB 56.72
MIN/MAX VAR: 0.94/1.72 STDDEV: 8.20
ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS
4 ssd 1.00000 0.95001 233GiB 138GiB 95.2GiB 59.09 1.04 98
3 ssd 1.00000 1.00000 233GiB 140GiB 93.2GiB 59.98 1.06 99
19 ssd 1.00000 1.00000 238GiB 128GiB 110GiB 53.83 0.95 92
18 ssd 1.00000 1.00000 233GiB 133GiB 99.4GiB 57.29 1.01 95
2 hdd 0.89999 1.00000 931GiB 498GiB 433GiB 53.52 0.94 158
5 hdd 0.89999 1.00000 931GiB 543GiB 388GiB 58.33 1.03 177
8 hdd 0.89999 0.89999 931GiB 543GiB 389GiB 58.28 1.03 166
17 hdd 0.89999 1.00000 931GiB 505GiB 426GiB 54.25 0.96 163
1 hdd 0.89999 0.84999 931GiB 500GiB 432GiB 53.66 0.95 158
11 hdd 0.89999 0.94998 931GiB 510GiB 421GiB 54.80 0.97 160
13 hdd 0.89999 1.00000 931GiB 533GiB 398GiB 57.25 1.01 163
14 hdd 0.89999 0.84999 931GiB 553GiB 378GiB 59.39 1.05 168
0 hdd 0.89999 0.99994 931GiB 517GiB 414GiB 55.52 0.98 164
10 hdd 0.89999 0.94998 931GiB 513GiB 418GiB 55.13 0.97 158
12 hdd 0.89999 0.84999 931GiB 507GiB 425GiB 54.38 0.96 152
16 hdd 0.89999 0.89999 931GiB 507GiB 424GiB 54.47 0.96 154
20 hdd 0.79999 1.00000 931GiB 556GiB 375GiB 59.70 1.05 176
21 hdd 0.90900 0.89999 931GiB 568GiB 363GiB 61.03 1.08 171
22 hdd 0.90900 1.00000 931GiB 528GiB 403GiB 56.67 1.00 161
23 hdd 0.95000 0.80000 931GiB 549GiB 382GiB 58.93 1.04 166
24 ssd 0.84999 0.85004 233GiB 228GiB 5.06GiB 97.83 1.72 73
6 hdd 0.79999 0.89999 931GiB 509GiB 422GiB 54.68 0.96 164
7 hdd 0.84999 0.84998 931GiB 497GiB 435GiB 53.35 0.94 155
9 hdd 0.79999 0.89996 931GiB 527GiB 405GiB 56.55 1.00 161
15 hdd 0.89999 0.89999 931GiB 497GiB 434GiB 53.37 0.94 154
TOTAL 19.3TiB 11.0TiB 8.37TiB 56.72
MIN/MAX VAR: 0.94/1.72 STDDEV: 8.20
ВН
S G
Хм...я недавно упоролся и решил прогнать fio в очередной раз....с numjobs=32 и iodepth=128 randwrite bs=4k....у мну в среднем 92к показало...
(size 2/3, 6 нод, 3 SSD на ноду)
(size 2/3, 6 нод, 3 SSD на ноду)
Ну так numjobs=32, я и говорю на одного клиента ДО 10-20к))
VD
помогите пожалуйста, не уменьшается размер
VD
почему pool не видит весь объем свободного места?
ВН
почему pool не видит весь объем свободного места?
У тебя ссд 233 (256 видимо) гб, а вес стоит 0.85, а хдд 931 гб (1тб) а вес стоит 0.95. Вес должен быть пропорционален объему. Когда забивается любой 1 осд, все пулы, его использующие, встают в ридонли, т.к распределение по осд по хешу
VD
что сделать нужно?
ВН
Вес поменять
ВН
ceph osd crush reweight osd.24 0.25
ВН
Потом я бы в итоге reweight-ы скрутил все в 1, но ты лучше не трогай, пока undersized не вылезут))
ВН
4, 3, 19, 18 тоже надо в 0.25 кстати
VD
ВН
Еще покажи ceph osd pool ls detail