тогда erasure

ну хотя бы ec k=2 m=2

а потом жопа гореть будет, когда всё ё\потеряется

что ceph  pg 37.55 query говорит?

зависит от размера кластера по идее, https://yourcmc.ru/afr-calc/

я вот читаю, и не понимаю, почему ceph так хорош? 🙂

(добавился ради интереса, что бы понять что такое ceph и чем он хорош)

прикольный калькулятор ) но я наблюдал уже несколько раз, когда выходит из строя один накопитель и до окончания рекавери, ещё один

смотря для каких задач, и смотря с чем сравнивать

чем хорош? доступностью (в смысле, что работает на обычном железе с обычными накопителями), отказоустойчивостью, возможностями, масштабируемостью

я вникаю во всю эту историю.

например, с тем же СХД от того же NetApp к примеру

еще посмотрите кто юзает эти страницы, может безопасней их удалить через ceph pg x.x mark_unfound_lost delete

Право на использование Red Hat Ceph Storage, Premium (Up to 256TB on a maximum of 12 Physical Nodes), 1 Yr
33 000,00$

как то подавался в конкурс с такой ценой...

ceph  pg 2.5ee  query
{
   "state": "active+clean",
   "snap_trimq": "[]",
   "snap_trimq_len": 0,
   "epoch": 52123,
   "up": [
       57,
       75
   ],
   "acting": [
       57,
       75
   ],
   "acting_recovery_backfill": [
       "57",
       "75"
   ],
   "info": {
       "pgid": "2.5ee",
       "last_update": "52123'19932279",
       "last_complete": "52123'19932279",
       "log_tail": "51833'19929238",
       "last_user_version": 19932279,
       "last_backfill": "MAX",
       "last_backfill_bitwise": 1,
       "purged_snaps": [],
       "history": {
           "epoch_created": 28414,
           "epoch_pool_created": 444,
           "last_epoch_started": 46138,
           "last_interval_started": 46137,
           "last_epoch_clean": 46138,
           "last_interval_clean": 46137,
           "last_epoch_split": 28414,
           "last_epoch_marked_full": 0,
           "same_up_since": 46137,
           "same_interval_since": 46137,
           "same_primary_since": 45835,
           "last_scrub": "51789'19914569",
           "last_scrub_stamp": "2021-04-27 01:05:25.603340",
           "last_deep_scrub": "50858'19852852",
           "last_deep_scrub_stamp": "2021-04-24 03:18:11.496602",
           "last_clean_scrub_stamp": "2021-04-27 01:05:25.603340"
       },
       "stats": {
           "version": "52123'19932279",
           "reported_seq": "23795819",
           "reported_epoch": "52123",
           "state": "active+clean",
           "last_fresh": "2021-04-27 15:09:58.769276",
           "last_change": "2021-04-27 01:05:25.603364",
           "last_active": "2021-04-27 15:09:58.769276",
           "last_peered": "2021-04-27 15:09:58.769276",
           "last_clean": "2021-04-27 15:09:58.769276",
           "last_became_active": "2021-04-22 20:54:21.808850",
           "last_became_peered": "2021-04-22 20:54:21.808850",
           "last_unstale": "2021-04-27 15:09:58.769276",
           "last_undegraded": "2021-04-27 15:09:58.769276",
           "last_fullsized": "2021-04-27 15:09:58.769276",
           "mapping_epoch": 46137,
           "log_start": "51833'19929238",
           "ondisk_log_start": "51833'19929238",
           "created": 28414,
           "last_epoch_clean": 46138,
           "parent": "0.0",
           "parent_split_bits": 11,
           "last_scrub": "51789'19914569",
           "last_scrub_stamp": "2021-04-27 01:05:25.603340",
           "last_deep_scrub": "50858'19852852",
           "last_deep_scrub_stamp": "2021-04-24 03:18:11.496602",
           "last_clean_scrub_stamp": "2021-04-27 01:05:25.603340",
           "log_size": 3041,
           "ondisk_log_size": 3041,
           "stats_invalid": false,
           "dirty_stats_invalid": false,
           "omap_stats_invalid": false,
           "hitset_stats_invalid": false,
           "hitset_bytes_stats_invalid": false,
           "pin_stats_invalid": false,
           "manifest_stats_invalid": false,
           "snaptrimq_len": 0,
           "stat_sum": {
               "num_bytes": 16314749952,
               "num_objects": 3923,
               "num_object_clones": 311,
               "num_object_copies": 7846,
               "num_objects_missing_on_primary": 0,
               "num_objects_missing": 0,
               "num_objects_degraded": 0,
               "num_objects_misplaced": 0,
               "num_objects_unfound": 0,
               "num_objects_dirty": 3923,
               "num_whiteouts": 0,
               "num_read": 842560,
               "num_read_kb": 115892664,
               "num_write": 3962578,
               "num_write_kb": 150403555,
               "num_scrub_errors": 0,
               "num_shallow_scrub_errors": 0,
               "num_deep_scrub_errors": 0,
               "num_objects_recovered": 4113,
               "num_bytes_recovered": 14941770240,
               "num_keys_recovered": 0,
               "num_objects_omap": 0,
               "num_objects_hit_set_archive": 0,

"num_bytes_hit_set_archive": 0,
               "num_flush": 0,
               "num_flush_kb": 0,
               "num_evict": 0,
               "num_evict_kb": 0,
               "num_promote": 0,
               "num_flush_mode_high": 0,
               "num_flush_mode_low": 0,
               "num_evict_mode_some": 0,
               "num_evict_mode_full": 0,
               "num_objects_pinned": 0,
               "num_legacy_snapsets": 0,
               "num_large_omap_objects": 0,
               "num_objects_manifest": 0,
               "num_omap_bytes": 0,
               "num_omap_keys": 0,
               "num_objects_repaired": 0
           },
           "up": [
               57,
               75
           ],
           "acting": [
               57,
               75
           ],
           "avail_no_missing": [],
           "object_location_counts": [],
           "blocked_by": [],
           "up_primary": 57,
           "acting_primary": 57,
           "purged_snaps": []
       },
       "empty": 0,
       "dne": 0,
       "incomplete": 0,
       "last_epoch_started": 46138,
       "hit_set_history": {
           "current_last_update": "0'0",
           "history": []
       }
   },
   "peer_info": [
       {
           "peer": "75",
           "pgid": "2.5ee",
           "last_update": "52123'19932279",
           "last_complete": "46135'19832606",
           "log_tail": "46130'19829538",
           "last_user_version": 19832606,
           "last_backfill": "MAX",
           "last_backfill_bitwise": 1,
           "purged_snaps": [],
           "history": {
               "epoch_created": 28414,
               "epoch_pool_created": 444,
               "last_epoch_started": 46138,
               "last_interval_started": 46137,
               "last_epoch_clean": 46138,
               "last_interval_clean": 46137,
               "last_epoch_split": 28414,
               "last_epoch_marked_full": 0,
               "same_up_since": 46137,
               "same_interval_since": 46137,
               "same_primary_since": 45835,
               "last_scrub": "51789'19914569",
               "last_scrub_stamp": "2021-04-27 01:05:25.603340",
               "last_deep_scrub": "50858'19852852",
               "last_deep_scrub_stamp": "2021-04-24 03:18:11.496602",
               "last_clean_scrub_stamp": "2021-04-27 01:05:25.603340"
           },
           "stats": {
               "version": "46135'19832605",
               "reported_seq": "23674561",
               "reported_epoch": "46135",
               "state": "active+clean",
               "last_fresh": "2021-04-22 20:53:53.477055",
               "last_change": "2021-04-22 20:52:16.446370",
               "last_active": "2021-04-22 20:53:53.477055",
               "last_peered": "2021-04-22 20:53:53.477055",
               "last_clean": "2021-04-22 20:53:53.477055",
               "last_became_active": "2021-04-22 20:52:12.470442",
               "last_became_peered": "2021-04-22 20:52:12.470442",
               "last_unstale": "2021-04-22 20:53:53.477055",
               "last_undegraded": "2021-04-22 20:53:53.477055",
               "last_fullsized": "2021-04-22 20:53:53.477055",
               "mapping_epoch": 46137,
               "log_start": "46130'19829538",
               "ondisk_log_start": "46130'19829538",
               "created": 28414,
               "last_epoch_clean": 46135,
               "parent": "0.0",
               "parent_split_bits": 11,
               "last_scrub": "46130'19827750",
               "last_scrub_stamp": "2021-04-22 15:15:06.114177",
               "last_deep_scrub": "46097'19791531",
               "last_deep_scrub_stamp": "2021-04-20 06:37:40.748370",
               "last_clean_scrub_stamp": "2021-04-22 15:15:06.114177",
               "log_size": 3067,
               "ondisk_log_size": 3067,
               "stats_invalid": false,
               "dirty_stats_invalid": false,

"omap_stats_invalid": false,
               "hitset_stats_invalid": false,
               "hitset_bytes_stats_invalid": false,
               "pin_stats_invalid": false,
               "manifest_stats_invalid": false,
               "snaptrimq_len": 0,
               "stat_sum": {
                   "num_bytes": 16159765504,
                   "num_objects": 3886,
                   "num_object_clones": 311,
                   "num_object_copies": 7772,
                   "num_objects_missing_on_primary": 0,
                   "num_objects_missing": 0,
                   "num_objects_degraded": 0,
                   "num_objects_misplaced": 0,
                   "num_objects_unfound": 0,
                   "num_objects_dirty": 3886,
                   "num_whiteouts": 0,
                   "num_read": 826987,
                   "num_read_kb": 110418023,
                   "num_write": 3863215,
                   "num_write_kb": 146440555,
                   "num_scrub_errors": 0,
                   "num_shallow_scrub_errors": 0,
                   "num_deep_scrub_errors": 0,
                   "num_objects_recovered": 4111,
                   "num_bytes_recovered": 14934512128,
                   "num_keys_recovered": 0,
                   "num_objects_omap": 0,
                   "num_objects_hit_set_archive": 0,
                   "num_bytes_hit_set_archive": 0,
                   "num_flush": 0,
                   "num_flush_kb": 0,
                   "num_evict": 0,
                   "num_evict_kb": 0,
                   "num_promote": 0,
                   "num_flush_mode_high": 0,
                   "num_flush_mode_low": 0,
                   "num_evict_mode_some": 0,
                   "num_evict_mode_full": 0,
                   "num_objects_pinned": 0,
                   "num_legacy_snapsets": 0,
                   "num_large_omap_objects": 0,
                   "num_objects_manifest": 0,
                   "num_omap_bytes": 0,
                   "num_omap_keys": 0,
                   "num_objects_repaired": 0
               },
               "up": [
                   57,
                   75
               ],
               "acting": [
                   57,
                   75
               ],
               "avail_no_missing": [],
               "object_location_counts": [],
               "blocked_by": [],
               "up_primary": 57,
               "acting_primary": 57,
               "purged_snaps": []
           },
           "empty": 0,
           "dne": 0,
           "incomplete": 0,
           "last_epoch_started": 46138,
           "hit_set_history": {
               "current_last_update": "0'0",
               "history": []
           }
       }
   ],
   "recovery_state": [
       {
           "name": "Started/Primary/Active",
           "enter_time": "2021-04-22 20:54:21.767443",
           "might_have_unfound": [
               {
                   "osd": "75",
                   "status": "already probed"
               }
           ],
           "recovery_progress": {
               "backfill_targets": [],
               "waiting_on_backfill": [],
               "last_backfill_started": "MIN",
               "backfill_info": {
                   "begin": "MIN",
                   "end": "MIN",
                   "objects": []
               },
               "peer_backfill_info": [],
               "backfills_in_flight": [],
               "recovering": [],
               "pg_backend": {
                   "pull_from_peer": [],
                   "pushing": []
               }
           },
           "scrub": {
               "scrubber.epoch_start": "46137",
               "scrubber.active": false,
               "scrubber.state": "INACTIVE",
               "scrubber.start": "MIN",
               "scrubber.end": "MIN",
               "scrubber.max_end": "MIN",
               "scrubber.subset_last_update": "0'0",
               "scrubber.deep": false,

"scrubber.waiting_on_whom": []
           }
       },
       {
           "name": "Started",
           "enter_time": "2021-04-22 20:54:20.746859"
       }
   ],
   "agent_state": {}
}

во времена filestore я их тупо удалял руками но это был dumpling. сейчас это очень опасно

хм. так это 2.5ee, у нее active+clean

нужна проблемная pg