Телеграмм чат группы ceph

Size: a a a

Ceph — русскоговорящее сообщество

1531 membersпожаловаться на группу

2021 January 21

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

возможно тормозные ветвления и переходы.

источник

21:45пожаловаться #1

2021 January 22

Dmitry K in Ceph — русскоговорящее сообщество

После добавления OSD через ceph orch apply osd --all-available-devices остались сервисы

# ceph orch ls
osd.None                       2/0  8m ago     -    <unmanaged>  docker.io/ceph/ceph:v15.2.8  5553b0cb212c
osd.all-available-devices    10/10  8m ago     8h   <unmanaged>  docker.io/ceph/ceph:v15.2.8  5553b0cb212c

При этом несмотря на unmanaged, в логах постоянно появляются сообщения: Found osd claims
Как удалить эти сервисы?

# ceph orch rm osd.all-available-devices
Failed to remove service. <osd.all-available-devices> was not found.

источник

06:48пожаловаться #2

Maksim Shalepin in Ceph — русскоговорящее сообщество

Всем привет, после увеличения pg и pgp на двух пулах с 256 до 512 крашнулись все менеджеры и не хоят вставать, с логах кроме дампа только это сообщение NOTE: a copy of the executable, or objdump -rdS <executable> is needed to interpret this.

Можно кто-то сталкивался и знает как фиксить ?

источник

13:53пожаловаться #3

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

Maksim Shalepin

должно что-то ещё быть, стек хотя бы

источник

13:53пожаловаться #4

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

но и еррор вроде должен быть хоть какой-то

источник

13:53пожаловаться #5

Maksim Shalepin in Ceph — русскоговорящее сообщество

Получил новый pgmap, обратился мону и крашнулся

источник

13:58пожаловаться #6

Murmuring in Ceph — русскоговорящее сообщество

@vitalif Какие тесты нужно провести, чтобы понять производительность кластера?

источник

14:04пожаловаться #7

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

коррелирующие с твоей нагрузкой

источник

14:05пожаловаться #8

Murmuring in Ceph — русскоговорящее сообщество

Vyacheslav Olkhovchenkov

коррелирующие с твоей нагрузкой

много виртуалок (30 штук), которые больше 90 процентов времени читают

источник

14:06пожаловаться #9

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

Murmuring

@vitalif Какие тесты нужно провести, чтобы понять производительность кластера?

я лично делаю так

fio -ioengine=libaio -name=test -direct=1 -filename=/dev/sdX \
1) -bs=4k -rw=randwrite -iodepth=1 -fsync=1
2) -bs=4k -rw=randwrite -iodepth=128
3) -bs=4M -rw=write -iodepth=16
4) -bs=4k -rw=randread -iodepth=1
5) -bs=4k -rw=randread -iodepth=128
6) -bs=4M -rw=read -iodepth=16

это общий принцип, с диском libaio, с цефом -ioengine=rbd -pool=... -rbdname=...

источник

14:10пожаловаться #10

Murmuring in Ceph — русскоговорящее сообщество

fsync - это типа на всех дисках опрашивает, записалось ли?

источник

14:11пожаловаться #11

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

Murmuring

fsync - это типа на всех дисках опрашивает, записалось ли?

не опрашивает, а принудительно сбрасывает кэш на диск

источник

14:11пожаловаться #12

Murmuring in Ceph — русскоговорящее сообщество

хм, то есть имеет смысл отключить кеши

источник

14:12пожаловаться #13

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

Murmuring

хм, то есть имеет смысл отключить кеши

отключать стоит в цефе rbd cache если основное - запись с fsync

источник

14:13пожаловаться #14

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

на диске отключать кэши по идее вообще не надо (если диск нормальный), отключать стоит только если вот эти прошивки с багофичей, когда "включённый" кэш не работает

источник

14:13пожаловаться #15

Alexander mamahtehok in Ceph — русскоговорящее сообщество

Виталий На Заборе

кстати эта синтетика не отрадает что будет в реальности.

источник

14:15пожаловаться #16

Alexander mamahtehok in Ceph — русскоговорящее сообщество

а например через однопоточное фио не могу вызвать большую задержку на p4500

источник

14:16пожаловаться #17

Alexander mamahtehok in Ceph — русскоговорящее сообщество