User didn't pass the validation and was banned.

User didn't pass the validation and was banned.

Добрый день. Тестируем seaweedfs, у кого это решение в эксплуатации поделитесь, пожалуйста, информацией о возникающих с ним проблемах, подводных камней и best practices.
Из более конкретных вопросов:
* Сталкивались ли с зависанием кластера без причины.
* Используете ли S3 и насколько стабильно этот протокол работает.
* Какая архитектура у кластера.
* Какое хранилище используется для метаданных.

Ранее тут много хвалили seaweedfs. Мы начали активно тестировать кластер и столкнулись с проблемами:
1. Кластер зависает без видимых причин
2. Меняется поведение S3 от версии к версии (например в первоначально развёрнутой версии целевой бакет создавался автоматически, после обновления уже стала требоваться отдельная команда)
3. Компоненты кластера создают большое (3к+) количество соединений между собой по TCP IPv4/IPv6
4. Ошибки в логах, что с ними делать не понятно:
Очень много
httpStatus:500 and JSON:{"error":"unexpected EOF"}

Встречаются реже
httpStatus:400 and JSON:{"error":"read tcp 10.0.2.54:8080-\u003e10.0.1.54:33964: i/o timeout"}
master masterClient failed to receive from 10.0.1.54:9333: rpc error: code = Unavailable  desc = transport is closing
panic: raft: Index is beyond end of log: 3 33
goroutine 193 [running]:
github.com/chrislusf/raft.(*Log).getEntriesAfter(0xc0001d2850, 0x21, 0x7d0, 0x0, 0x0, 0x0, 0x0)
#011/home/travis/gopath/pkg/mod/github.com/chrislusf/raft@v1.0.7/log.go:256 +0x885
github.com/chrislusf/raft.(*Peer).flush(0xc000348680)
#011/home/travis/gopath/pkg/mod/github.com/chrislusf/raft@v1.0.7/peer.go:179 +0xee
github.com/chrislusf/raft.(*Peer).heartbeat(0xc000348680, 0xc000178c00)
#011/home/travis/gopath/pkg/mod/github.com/chrislusf/raft@v1.0.7/peer.go:167 +0x3a5
github.com/chrislusf/raft.(*Peer).startHeartbeat.func1(0xc000348680, 0xc000178c00)
#011/home/travis/gopath/pkg/mod/github.com/chrislusf/raft@v1.0.7/peer.go:100 +0x68
created by github.com/chrislusf/raft.(*Peer).startHeartbeat
#011/home/travis/gopath/pkg/mod/github.com/chrislusf/raft@v1.0.7/peer.go:98 +0x134

@snels ку

о, спасибо

А при каких условиях вот эти 500 то происходят

одновременная активная запись старых бекапов в бакеты из двух источников

httpStatus:500 and JSON:{"error":"unexpected EOF"}
минио тоже таким страдает.
причем в минио поврежден файл, и средствами самого минио его удалить нельзя
только лезть на фс

Чот какая-то хрень.
А кластер у вас какой вид вообще имеет? Метадата где хранится?
В лимиты ОС какие-нибудь не упираетесь?

User passed the validation.

@snels метаданные в keydb. Кластер состоит из трёх серверов на каждом из которых развёрнуты keydb, master, volume, filer. Диски SAS. Между серверами 1G. В лимиты не упираемся. Кластер развёрнут поверх ZFS.
seaweedfs: version 30GB 2.52 76f24af linux amd64

Зачем zfs?

сжатие и удобство управления, но мы тестировали в комбинации без zfs, результаты были хуже

Даже не знаю, что тут подсказывать.
Я не видел в работе сивид ни на 1Gbe, ни на zfs, ни на keydb =)

Но проблема по мастеру выглядит либо как-то вот так
https://github.com/chrislusf/seaweedfs/issues/1539
либо его постоянно oom-killer прибивает. Либо прочие проблемы на уровне ОС/железа.

А можно узнать пример вашей конфигурации? мы соберём для тестов, сейчас в тупике при выборе не облачного S3 варианта.

Да, через часик примерно смогу рассказать, что у нас.

В Реестр российской электроники загадочно просочилось «железо» на чипах IBM - CNews
https://www.cnews.ru/news/top/2021-06-21_tri_shd_na_chipah_ibm_postavshchika

татлин на openpower

чем он отличается от байкала и эльбруса вопрос. и то и то на тайване штампуют