В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Ceph — русскоговорящее сообщество

1355 membersпожаловаться на группу
2020 June 18

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
DB
Коллеги, это возмутительно. Есть 3 etcd на ВМ. У двух /var/lib/etcd лежит на ceph - latency >400ms, у одно на cinder (lvm на openstack storage nodes на hdd) - latency около 5 ms. Но почему в случае ceph (bluestore,  "журналы" на ssd, данные на hdd) оно такое гигантское?
TLDR: цеф - тормоз
источник
12:06пожаловаться#1

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
DB
Коллеги, это возмутительно. Есть 3 etcd на ВМ. У двух /var/lib/etcd лежит на ceph - latency >400ms, у одно на cinder (lvm на openstack storage nodes на hdd) - latency около 5 ms. Но почему в случае ceph (bluestore,  "журналы" на ssd, данные на hdd) оно такое гигантское?
отчасти просто потому, что распределённый. а отчасти потому, что тормоз
источник
12:07пожаловаться#2

D

DB in Ceph — русскоговорящее сообщество
Спасибо, но это жесть. Я знал, что он, ну, не быстрый, но такое...
источник
12:08пожаловаться#3

Am

Alexander mamahtehok in Ceph — русскоговорящее сообщество
И от части от того что ктото чего то не понимает :)
источник
12:08пожаловаться#4

Am

Alexander mamahtehok in Ceph — русскоговорящее сообщество
Ссд журналы не ускоряют все операции в разы
источник
12:08пожаловаться#5

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
они не ускоряют, не дают еще больше тормозить :)
источник
12:09пожаловаться#6

Am

Alexander mamahtehok in Ceph — русскоговорящее сообщество
400мс на четение с говеногт нагруженого блина может быть вполне вменяемой летенси
источник
12:09пожаловаться#7

D

DB in Ceph — русскоговорящее сообщество
Alexander mamahtehok
400мс на четение с говеногт нагруженого блина может быть вполне вменяемой летенси
Но такой же говеный блин под cinder дает бешенно другой результат.
источник
12:11пожаловаться#8

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
DB
Спасибо, но это жесть. Я знал, что он, ну, не быстрый, но такое...
Ну т.е тут вопрос что за латенси, в среднем обычно для мелких операций конечно на хдд 400мс не бывает, если он не нагружен
источник
12:11пожаловаться#9

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
DB
Но такой же говеный блин под cinder дает бешенно другой результат.
А через синдер это как?
источник
12:11пожаловаться#10

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Монтируется то оно там как?
источник
12:11пожаловаться#11

D

DB in Ceph — русскоговорящее сообщество
Виталий На Заборе
А через синдер это как?
Ну я создал диск на cinder с lvm-бэкендом на storage-нодах (они же compute).
источник
12:12пожаловаться#12

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
DB
Ну я создал диск на cinder с lvm-бэкендом на storage-нодах (они же compute).
Ну подмонтирован он как. Локальная фс?
источник
12:13пожаловаться#13

D

DB in Ceph — русскоговорящее сообщество
latency 400ms и 5 ms оценивает etcd в метриках DB fsync и  WALfsync
источник
12:13пожаловаться#14

D

DB in Ceph — русскоговорящее сообщество
Виталий На Заборе
Ну подмонтирован он как. Локальная фс?
Да, локально
источник
12:13пожаловаться#15

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Да не, ну 400 конечно не должно быть. Если без нагрузки. Ну иди в мою статью и бенчи все там у себя. Потом если результаты разойдутся, осознавай, что такого интересного делает etcd
источник
12:15пожаловаться#16

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
DB
Коллеги, это возмутительно. Есть 3 etcd на ВМ. У двух /var/lib/etcd лежит на ceph - latency >400ms, у одно на cinder (lvm на openstack storage nodes на hdd) - latency около 5 ms. Но почему в случае ceph (bluestore,  "журналы" на ssd, данные на hdd) оно такое гигантское?
etcd вообще не рекомендует использовать кросс дц, сетевые диски и вообще оно фсинчит, фсинчит и еще раз фсинчит
источник
12:16пожаловаться#17

D

DB in Ceph — русскоговорящее сообщество
Dmitry Polyakov
etcd вообще не рекомендует использовать кросс дц, сетевые диски и вообще оно фсинчит, фсинчит и еще раз фсинчит
Да, здесь согласен, решение изначально неоптимальное.
источник
12:17пожаловаться#18

D

DB in Ceph — русскоговорящее сообщество
Виталий На Заборе
Да не, ну 400 конечно не должно быть. Если без нагрузки. Ну иди в мою статью и бенчи все там у себя. Потом если результаты разойдутся, осознавай, что такого интересного делает etcd
Да, спасибо.
источник
12:17пожаловаться#19

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
DB
Да, здесь согласен, решение изначально неоптимальное.
400 ms вполне может быть правдой на блинах, даже с вынесенными валом/дб - посмотрите чего с вашими блинами происходит через любую систему мониторинга с низкой гранулярностью (снимайте данные хотя бы раз в 10 секунд) - ну или иостатом, банально
источник
12:18пожаловаться#20