А🐎
потом осд
Size: a a a
2021 March 03
ПС
ну так ошибки уже в ceph нет и время на всех нодах одинаковое
ПС
а на момент старта там (since 136y) :-|
ПС
а сейчас (я ничего не делал) уже osd: 54 osds: 54 up (since 12m), 54 in (since 13m)
А🐎
Ну так systemctl stop ceph-osd.target && sleep 3s && systemctl start ceph-osd.target
Am
cluster:
id: 1ba3f6f9-0848-439c-bc23-23aefd1124c9
health: HEALTH_WARN
clock skew detected on mon.ceph2.domain, mon.ceph3.domain
2 osds down
Reduced data availability: 599 pgs peering
Degraded data redundancy: 719754/2167023 objects degraded (33.214%), 875 pgs degraded, 936 pgs undersized
services:
mon: 3 daemons, quorum ceph1.domain,ceph2.domain,ceph3.domain (age 7s)
mgr: ceph1.domain(active, since 3s), standbys: ceph2.domain, ceph3.domain
osd: 54 osds: 52 up (since 136y), 54 in (since 136y)
rgw: 3 daemons active (ceph1.domain, ceph2.domain, ceph3.domain)
task status:
data:
pools: 10 pools, 1993 pgs
objects: 722.34k objects, 2.7 TiB
usage: 9.8 TiB used, 182 TiB / 192 TiB avail
pgs: 53.036% pgs not active
719754/2167023 objects degraded (33.214%)
1057 peering
875 active+undersized+degraded
61 active+undersized
io:
client: 342 KiB/s rd, 29 MiB/s wr, 42 op/s rd, 714 op/s wr
проблема в том что у вас 1000 пг пирятся одновременно ))))
А🐎
а сейчас (я ничего не делал) уже osd: 54 osds: 54 up (since 12m), 54 in (since 13m)
Ну засинкалось
А🐎
проблема в том что у вас 1000 пг пирятся одновременно ))))
Ваще ни о чем не грит..
Am
Ваще ни о чем не грит..
окай ))))
А🐎
окай ))))
Нее, я про то что загружаются осд долго
ПС
да они там пустые, так как созданы пулы с 1024 и 512 pg, и они почти не используются
ПС
Ну засинкалось
ну вот я и говорю не успевет, там вместо ntp chrony - пойду логи смотреть..
А🐎
Причем, я так подозреваю проблема только в массовости старт/стоп осд
ПС
Направьте на правильный путь:
следует делать задержку в systemd для запуска osd(чтобы они не все одновременно поднимались) ?
следует делать задержку в systemd для запуска osd(чтобы они не все одновременно поднимались) ?
ну т.е так лучше сделать?
А🐎
Сек тестирую скок времени займет выключить/включить через systemctl stop/start ceph-osd.target
ПС
Сек тестирую скок времени займет выключить/включить через systemctl stop/start ceph-osd.target
ну похоже время не влияет, так как stop cehp-osd.target и потом start приводит так же к фризу. Время в этот момент уже синхронизировано.
А🐎
2021-03-03 17:24:10.378 7f042e1be700 -1 received signal: Terminated from /usr/lib/systemd/systemd --switched-root --system --deserialize 22 (PID: 1) UID: 0
2021-03-03 17:24:10.378 7f042e1be700 -1 osd.0 257969 * Got signal Terminated *
2021-03-03 17:24:10.378 7f042e1be700 -1 osd.0 257969 * Immediate shutdown (osd_fast_shutdown=true) *
sleep 30s
2021-03-03 17:24:40.562 7ff79012da80 0 set uid:gid to 1000:1000 (ceph:ceph)
2021-03-03 17:24:40.562 7ff79012da80 0 ceph version 14.2.16 (762032d6f509d5e7ee7dc008d80fe9c87086603c) nautilus (stable), process ceph-osd, pid 3631912
2021-03-03 17:24:40.562 7ff79012da80 0 pidfile_write: ignore empty --pid-file
...
2021-03-03 17:24:46.016 7ff79012da80 0 osd.0 257969 load_pgs opened 130 pgs
2021-03-03 17:24:46.016 7ff79012da80 0 osd.0 257969 using weightedpriority op queue with priority op cut off at 64.
2021-03-03 17:24:46.018 7ff79012da80 -1 osd.0 257969 log_to_monitors {default=true}
2021-03-03 17:24:46.835 7ff79012da80 0 osd.0 257969 done with init, starting boot process
Хм, вроде быстро все стартует..
2021-03-03 17:24:10.378 7f042e1be700 -1 osd.0 257969 * Got signal Terminated *
2021-03-03 17:24:10.378 7f042e1be700 -1 osd.0 257969 * Immediate shutdown (osd_fast_shutdown=true) *
sleep 30s
2021-03-03 17:24:40.562 7ff79012da80 0 set uid:gid to 1000:1000 (ceph:ceph)
2021-03-03 17:24:40.562 7ff79012da80 0 ceph version 14.2.16 (762032d6f509d5e7ee7dc008d80fe9c87086603c) nautilus (stable), process ceph-osd, pid 3631912
2021-03-03 17:24:40.562 7ff79012da80 0 pidfile_write: ignore empty --pid-file
...
2021-03-03 17:24:46.016 7ff79012da80 0 osd.0 257969 load_pgs opened 130 pgs
2021-03-03 17:24:46.016 7ff79012da80 0 osd.0 257969 using weightedpriority op queue with priority op cut off at 64.
2021-03-03 17:24:46.018 7ff79012da80 -1 osd.0 257969 log_to_monitors {default=true}
2021-03-03 17:24:46.835 7ff79012da80 0 osd.0 257969 done with init, starting boot process
Хм, вроде быстро все стартует..
А🐎
Эт 12 osd даун потом слип, потом ап
А🐎
Но вот только что заметил, что были фейлы стартов