Телеграмм чат группы ceph

Size: a a a

Ceph — русскоговорящее сообщество

2021 September 14

ВМ

Владимир Марченко... in Ceph — русскоговорящее сообщество

Спасибо за отзывы)
Last Updated: 2021-08-06
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/pdf/hardware_guide/hardware-guide.pdf

источник

11:20пожаловаться #1

ВМ

Владимир Марченко... in Ceph — русскоговорящее сообщество

Статья редхата свежая

источник

11:20пожаловаться #2

Victor Chaplinsky in Ceph — русскоговорящее сообщество

а, ну, Вы сами лучше замеры произведите под небольшой нагрузочкой. значение утилизации блочного уцстройства и iowait будут показательными
заодно и нам расскажете

источник

11:21пожаловаться #3

Victor Chaplinsky in Ceph — русскоговорящее сообщество

мне испльзование RAID-контроллеров не очень нравится тем, что потенциально возможны глюки такие как:
* вытащили один диск, половина дисков на бэкплейне протормозила, контроллер перевёл их в Uncongigured/Bad
* из-за UNC ошибок на одном диске, может крэшнуться ПО контроллера или также отвалиться часть дисков
это то, с чем я сталкивался с LSI

источник

11:24пожаловаться #4

Victor Chaplinsky in Ceph — русскоговорящее сообщество

недавно одну машину встретил, где каждые 22 минуты замирало IO на секунд 10 - утилизация всех дисков по iostat была 100%, tps падали в ноль, при "отвисании" await были около 10 секунд.
контроллер LSI, подключено 5 SSD и 2 SAS

источник

11:26пожаловаться #5

Andrey Nemysskiy in Ceph — русскоговорящее сообщество

В доке есть оговорка. Что если к RAID-контроллеру подключены диски SSD или много дисков (например60), то включение Write back будет совсем не благом. Там же написано, юзайте режим JBOD. В нем отключается Write Back и будет вам счастье.

источник

11:26пожаловаться #6

Victor Chaplinsky in Ceph — русскоговорящее сообщество

источник

11:26пожаловаться #7

Victor Chaplinsky in Ceph — русскоговорящее сообщество

SSD диск, который даёт 40k IOPS на произвольном доступе, подключенный сразу в материнку, на LSI контроллере в режиме raid даёт 18k примерно

источник

11:27пожаловаться #8

Andrey Nemysskiy in Ceph — русскоговорящее сообщество

Ну а Nvme с интерфейсом U.2 "разрывает хомяка на куски". :)

источник

11:36пожаловаться #9

Sergey in Ceph — русскоговорящее сообщество

screenshot_from_2021-09-14_16-25-10.png

(70.25 Кб)

источник

16:29пожаловаться #10

Sergey in Ceph — русскоговорящее сообщество

А кто-то строил графики лейтенси rbd по метрикам из Прометея irate (ceph_rbd_latency_sum)/irate(ceph_rbd_latency_count) ?
У меня весьма печальный график получился

источник

16:29пожаловаться #11

k0ste in Ceph — русскоговорящее сообщество

Это кривой запрос который не будет работать

источник

16:32пожаловаться #12

Sergey in Ceph — русскоговорящее сообщество

Сами метрики ceph_rbd_read_latency_sum/count - фигню показывают ? Или я не правильно их готовлю ?

источник

16:37пожаловаться #13

k0ste in Ceph — русскоговорящее сообщество

У тебя нет времени за который считать irate