Я тестил тоже connectx4, и там короче с 5.8 на опенсорсном драйвере все збс даже с RDMA. На 5.4 и 5.6 еще ловил баги, ну там видимо этот, ОФЕД нужен

Ну да, с офед нет проблем

И слава б-гу. Через несколько лет работы начинают сыпать црц ошибками, если вдруг их потрогаешь. Замена патчкордов, продувка разъемов, даже пшыкнуть контактолом помогает на время

Жуть , тут иногда такое можно в 1г поймать представляю как это в 10г

Евреи, не жалейте заварку. И ничего ловить не придется

Да, да. Слышал много раз эти сказки и побасенки про црц через некоторое время на медных портах.
Причина обычно банальная. Не надо делать скс на меди для 10г из говна и палок и оставлять висеть провода на собственном весу. Уложите кабель на органайзеры. И не загибайте провода на 180 градусов да раз по несколько. Проблема усугубляется если задницы у серверов горячие, т.е. тепло отвод плохой, а не то что некоторые подумали, прости господи.

Нормально все работает, если все нормально сделано. Эксплуатировал такое долго и на разном железе.

Слоу пинги я видел при большой нагрузке на osd. Когда я сам задрал число процессов для рекавери, чтобы быстрее кластер привести в чувство после апгрейда мажорных версий и разных других отказов когда штатный админ их проглядел.

Интелловые медные карты, коммутаторы extreme и заводские патчкорды - не назвал бы это говном и палками :) уложено все на кабель-росты. Расстояние - несколько стоек в одном ряду.

Я подозреваю всё-таки, что причина - образование оксидной пленки на контактах, или ослабление этих контактов

Paul M. Brown: user has been CAS banned

Всем привет.
Подскажите пожалуйста насчет объёма HDD в конфигурации 1OSD = 14TB HDD + SSD bcache.
Читал историю этого чатика, многие говорят что rebalance и/или recover с такими объемами будет занимать 2 недели.
Уже есть такие диски, вопрос стоит-ли их поменять на 4-6TB.?

rebalance сильно зависит от сети, но да, диски в идеале 4TB )

Наверное всё же скорость записи на шпиндельные диски узкое место? (ну если сеть 10GE+)
Чем обусловлен объём именно 4 ТБ, почему не 6 или 2?

Зависит от количества дисков

Основной ребаланс на 12т занимает сутки иногда полутора, но несколько пг могут доезжать бывало до 5 дней.

Если 4 диска, то 1 Гбит мало

4 магическое чесло вычесленое опытным путем @Outlingo в облаке мейл ру 🤗

ещё зависит от того, в какое положение крутилки выставили )
и что там с клиентским i/o

Ну и опять же, как ноды нагружены

ну и от положения солнца естесвенно )

и от положения луны понятное дело )