ВН
Либо у вас ложная память
Size: a a a
2020 December 30
m3
Так а что таки будет если ноды две и рубануть сеть?
Они ловят кайф и бьются головой о стенку. Кластер разваливается, начинает искать через какой интерфейс ему передавать. Вы себе как представляете ситуацию? У Вас два узла, в разных дц или в одном, на одном все сетевые ушли в даун.
m3
Следовательно - он отваливается и доступа по cifs/nfs/iscsi нет
VM
Ну то есть чтобы одна нода не видела другую сделать
Ничего, для этого настраивается свидетель (witness) и он обеспечивает кворум
ВН
Vladimir Manko
Ничего, для этого настраивается свидетель (witness) и он обеспечивает кворум
А, ну понятно
ВН
Ну вот с цефом то же самое надо считайте, просто свидетель это третий мон
VM
схема из 2-х нод в S2D реализуема но не рекомендуема. В принципе как и везде =)
2021 January 01
VO
надо заметить что алгоритм хеширования в ceph -- говно
VO
# ceph pg ls-by-pool default.rgw.buckets.index|sort -n -k 2| head
* NOTE: Omap statistics are gathered during deep scrub and may be inaccurate soon afterwards depending on utilisation. See http://docs.ceph.com/docs/master/dev/placement-group/#omap-statistics for further details.
PG OBJECTS DEGRADED MISPLACED UNFOUND BYTES OMAP_BYTES* OMAP_KEYS* LOG STATE SINCE VERSION REPORTED UP ACTING SCRUB_STAMP DEEP_SCRUB_STAMP
5.2d7 15 0 0 0 0 238374392 848847 3081 active+clean 2d 116975'781372454 116975:816344572 [280,242,148]p280 [280,242,148]p280 2020-12-29 22:46:47.898553 2020-12-29 22:46:47.898553
5.1d 17 0 0 0 0 256430413 910253 3059 active+clean 2d 116975'30873951 116975:62689239 [232,165,241]p232 [232,165,241]p232 2020-12-29 22:46:46.219894 2020-12-29 22:46:46.219894
5.3d7 17 0 0 0 0 178315543 637578 3045 active+clean 2d 116975'781390139 116975:816365720 [241,148,151]p241 [241,148,151]p241 2020-12-29 22:46:30.199238 2020-12-29 22:46:30.199238
VO
# ceph pg ls-by-pool default.rgw.buckets.index|sort -n -k 2| tail -3
5.94 32 0 0 0 0 302899493 1083384 3018 active+clean 7d 116975'34677045 116975:73132102 [150,159,239]p150 [150,159,239]p150 2020-12-09 02:23:01.880111 2020-12-09 02:23:01.880111
5.d4 32 0 0 0 0 339171022 1213473 3084 active+clean 7d 116975'39198325 116975:81641586 [232,284,165]p232 [232,284,165]p232 2020-12-09 02:29:08.833389 2020-12-09 02:29:08.833389
5.1d7 33 0 0 0 0 455549969 1622434 3049 active+clean 2d 116975'781581647 116975:816640072 [163,238,244]p163 [163,238,244]p163 2020-12-29 22:46:38.129242 2020-12-29 22:46:38.129242
VO
разброс в два раза
2021 January 02
VO
вот что этой падле надо?
7301 pgs not deep-scrubbed in time
...
data:
pools: 7 pools, 9376 pgs
objects: 1.30G objects, 837 TiB
usage: 2.6 PiB used, 640 TiB / 3.2 PiB avail
pgs: 9376 active+clean
7301 pgs not deep-scrubbed in time
...
data:
pools: 7 pools, 9376 pgs
objects: 1.30G objects, 837 TiB
usage: 2.6 PiB used, 640 TiB / 3.2 PiB avail
pgs: 9376 active+clean
Am
вот что этой падле надо?
7301 pgs not deep-scrubbed in time
...
data:
pools: 7 pools, 9376 pgs
objects: 1.30G objects, 837 TiB
usage: 2.6 PiB used, 640 TiB / 3.2 PiB avail
pgs: 9376 active+clean
7301 pgs not deep-scrubbed in time
...
data:
pools: 7 pools, 9376 pgs
objects: 1.30G objects, 837 TiB
usage: 2.6 PiB used, 640 TiB / 3.2 PiB avail
pgs: 9376 active+clean
Ты про not scrub in time?
VO
да. какого хера не дипскрибуид?
G
в расписание не успело. раньше оно клало на него болт и скрабило дальше, ща просто ругается, если не успело
Am
да. какого хера не дипскрибуид?
Либо увеличь время либо еоличество скрба на осд
VO
в какой нахуй расписание?
VO
osd advanced osd_scrub_begin_hour 0
osd advanced osd_scrub_end_hour 24
osd advanced osd_scrub_end_hour 24
VO
оно несколько дней херачило а потом постепенно потеряло задор
DP
в какой нахуй расписание?
В максимально допустимое время между дип скрабами. Весьма вероятно из-за того, что максимальное количество скрабов одновременных на осд - не позволяет вовремя всех скрабить