А🐎
ceph-deploy admin
Size: a a a
2021 March 15
R
ceph-deploy admin
оно разве не для создания ноды админа?
А🐎
когда новая нода пишет
[WARNIN] stderr: [errno 1] error connecting to the clusterЭто пишет где?
R
при создании osd, с админской ноды
А🐎
эм.. значит нет коннекта к кластеру
J
Екатерина Фомичева: user has been CAS banned
2021 March 16
t
Вышел ceph 14.2.17 (Nautilus)
В отмеченных изменениях
* $pid теперь обрабатывается не только ceph-fuse/rbd-nbd
* Оптимизировано удаление PG
* Более детальное отслеживание выделения памяти bluestore
* Если клиент cephfs слишком быстро запрашивает выделение cap его будут ограничивать (
https://ceph.io/releases/v14-2-17-nautilus-released
#ceph #release #nautilus
В отмеченных изменениях
* $pid теперь обрабатывается не только ceph-fuse/rbd-nbd
* Оптимизировано удаление PG
* Более детальное отслеживание выделения памяти bluestore
* Если клиент cephfs слишком быстро запрашивает выделение cap его будут ограничивать (
mds_session_cap_acquisition_throttle)https://ceph.io/releases/v14-2-17-nautilus-released
#ceph #release #nautilus
ВГ
Ребята, ахтунг. Может кто сталкивался. В кластере практически остановились операции записи, при отсутствии каких-то особых проблем. Чтение с RBD тома в показывает до 30k iops, на запись стремится к 0. inactive pg нет, с сетью проблем вроде тоже нет. Куда копать?
AS
ВГ
root@kvm7 ~]# ceph -s
cluster:
id: e251276c-599c-4b1f-9a7d-604c99233d4b
health: HEALTH_WARN
Failed to send data to Zabbix
824/4839790 objects misplaced (0.017%)
Degraded data redundancy: 572/4839790 objects degraded (0.012%), 204 pgs degraded, 10 pgs undersized
services:
mon: 3 daemons, quorum kvm7,kvm9,kvm12
mgr: kvm9(active), standbys: kvm12, kvm7, kvm5
osd: 38 osds: 38 up, 38 in; 11 remapped pgs
data:
pools: 2 pools, 2048 pgs
objects: 2.42 M objects, 9.1 TiB
usage: 18 TiB used, 21 TiB / 40 TiB avail
pgs: 572/4839790 objects degraded (0.012%)
824/4839790 objects misplaced (0.017%)
1696 active+clean
191 active+recovery_wait+degraded
145 active+recovery_wait
9 active+recovery_wait+undersized+degraded+remapped
3 active+recovering+degraded
2 active+clean+scrubbing+deep
1 active+recovery_wait+undersized+remapped
1 active+recovery_wait+degraded+remapped
io:
client: 8.2 MiB/s rd, 687 KiB/s wr, 154 op/s rd, 81 op/s wr
cluster:
id: e251276c-599c-4b1f-9a7d-604c99233d4b
health: HEALTH_WARN
Failed to send data to Zabbix
824/4839790 objects misplaced (0.017%)
Degraded data redundancy: 572/4839790 objects degraded (0.012%), 204 pgs degraded, 10 pgs undersized
services:
mon: 3 daemons, quorum kvm7,kvm9,kvm12
mgr: kvm9(active), standbys: kvm12, kvm7, kvm5
osd: 38 osds: 38 up, 38 in; 11 remapped pgs
data:
pools: 2 pools, 2048 pgs
objects: 2.42 M objects, 9.1 TiB
usage: 18 TiB used, 21 TiB / 40 TiB avail
pgs: 572/4839790 objects degraded (0.012%)
824/4839790 objects misplaced (0.017%)
1696 active+clean
191 active+recovery_wait+degraded
145 active+recovery_wait
9 active+recovery_wait+undersized+degraded+remapped
3 active+recovering+degraded
2 active+clean+scrubbing+deep
1 active+recovery_wait+undersized+remapped
1 active+recovery_wait+degraded+remapped
io:
client: 8.2 MiB/s rd, 687 KiB/s wr, 154 op/s rd, 81 op/s wr
ВГ
ребаланс заканчивается
AS
какая сеть публичная, приватная?
ВГ
в кластере сеть на инфинибенде, две отдельно cluster и public
AS
Влад Григорьев
ребаланс заканчивается
а скорость ребаланса? умеренно или в потолок?
ВГ
ребаланс медленно делается, но его специально придушили
ВГ
хотя оно и не сильно влияло на скорость клиентской сети
AS
медленная запись на всех rbd?
ВГ
client: 275 KiB/s rd, 1.2 MiB/s wr, 17 op/s rd, 113 op/s wr
ВГ
на нем более ста впс, там не может быть таких показателей
ВГ
на клиентских впс утилизация дисков в 100%