В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Ceph — русскоговорящее сообщество

1659 membersпожаловаться на группу
2021 July 30

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Ты бы iperf-ом реальную скорость сети проверил.

Пинг в 10 Гигабиной сети не должен быть более 0.2 - 0.4 мсек
А у тебя на 2 порядка больше. На 100 мегабитах что ли? Или сеть перегружена?

На Гигабите CEPH работать путью не будет. Даже не пытайтесь.
источник
19:44пожаловаться#1

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Географически распределенный CEPH делать можно. Но не тупым методом разложения OSD по разным ДЦ. Так оно работать нормально не будет.
источник
19:46пожаловаться#2

Am

Alexander mamahtehok in Ceph — русскоговорящее сообщество
Откуда ж вы хти сказки протгигабиты берете то?
источник
19:52пожаловаться#3

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Да везде про это пишут и сам видел как оно начинает глючить когда одна нода уходить на Гигабит, потому что кабель воткнули не туда.

Если у вас есть опыт успешной работы с CEPH на гигабитной сети с более чем 100 дисками и десятком серверов, с интересом заслушаю как это оно получилось.
источник
19:55пожаловаться#4

D

Dimm in Ceph — русскоговорящее сообщество
Сеть 10-100 гбит, реально в районе 30 между конкретно этими серверами
источник
19:56пожаловаться#5

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Чего ж такие задержки большие?
источник
19:57пожаловаться#6

R

Roman in Ceph — русскоговорящее сообщество
Netperf используй с tcp_rr. Вот он покажет реальное латенси
источник
19:57пожаловаться#7

D

Dimm in Ceph — русскоговорящее сообщество
Есть еще один кластер, пинг 30ms между 3 серверами, и сеф в 10 раз быстрее чем тот первый 🙂
источник
19:57пожаловаться#8

D

Dimm in Ceph — русскоговорящее сообщество
У меня esnet perfsonar, я думаю он что-то подобное делает. one way ping
источник
19:58пожаловаться#9

D

Dimm in Ceph — русскоговорящее сообщество
сервера далеко
источник
19:59пожаловаться#10

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Ну как бы... Эта... Задержка (latency) она критична у СХД.
источник
20:00пожаловаться#11

D

Dimm in Ceph — русскоговорящее сообщество
Ну я тоже так бы думал, но как тогда мне 3 сервера с 30мс выдают 1GB/s запись в один поток 🙂
источник
20:02пожаловаться#12

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
OSD сколько на этих серверах? В сумме.
источник
20:03пожаловаться#13

D

Dimm in Ceph — русскоговорящее сообщество
на 3 серверах - 32 OSD, где нормальная скорость
источник
20:04пожаловаться#14

D

Dimm in Ceph — русскоговорящее сообщество
где тормозит - 5 серверов, 63 OSD, и пишет 40 MB/s
источник
20:04пожаловаться#15

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Значит все ж latency там нормальное. А пингом меряют сетевую связность. Время которое он выдает оно очень сильно ни о чем.
источник
20:05пожаловаться#16

D

Dimm in Ceph — русскоговорящее сообщество
Я вот это меряю https://software.internet2.edu/owamp/
источник
20:06пожаловаться#17

D

Dimm in Ceph — русскоговорящее сообщество
ЩАс попробую netperf
источник
20:06пожаловаться#18

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Между этими 5 серверами погоняй тесты. Проги сказали выше. Если будет как у хорошего кластера, то значит дело не в сети. И надо будет смотреть на другое.
источник
20:06пожаловаться#19

D

Dimm in Ceph — русскоговорящее сообщество
Просто хочется увидеть проблему самому )
источник
20:06пожаловаться#20