ВН
А тут тебе всё равно придётся делать хранилище метаданных
Size: a a a
2021 June 23
A
Судя по реализации бэкендов в minio gateway, там далеко не все функции интерфейса обязательны. И в любом случае, реализовать этот интерфейс выглядит намного более простой задачей, чем корректная реализация s3 протокола
A
Ну да
ВН
Ну вообще говоря S3 протокол очень сильно похож на этот интерфейс
ВН
Практически 1:1
ВН
Ну то есть в принципе можно конечно заюзать этот гейтвей типа как готовую реализацию HTTP, но не более того по сути
A
Вполне понятно почему. Но если реализовывать самому s3, то нужно будет делать сериализацию, проверку подписей, обработку ошибок протокола. И в этом плане ming выглядит как либа, где всё это уже сделано.
ВН
Ну да, разве что
t
5.25
2021 June 24
c
User didn't pass the validation and was banned.
c
User didn't pass the validation and was banned.
D
А как тестировали? У filer'а схема все со всеми?
D
Слежу за проектом, там разработчик активный(если проблему опишите хорошо), у меня косяки были, оперативно версии выкатывал и он для проверки аж отдельно собирал мне.
2021 June 25
VT
Не очень понятен вопрос.
D
там filer служба отвечающая за мета данные и она может быть настроена ну очень по разному (даже хранение от локальной db до redis/mysql/postgre...)
D
каскадно, мастер -мастер, мастер-слейв...
VT
Наши настройки.
weed -v 2 filer -master=172.16.5.63:9333,10.0.1.54:9333,10.0.2.54:9333 -peers=172.16.5.63:8888,10.0.1.54:8888,10.0.2.54:8888 -s3 -s3.config=/etc/seaweedfs/s3.json
Метаданные в кластере keydb.
Все наши проблемы которые были раньше, были в основном по двум причинам:
* Кластер после первого запуска действительно надо остановит и запустить ещё раз. Без этого лезут какие-то рандомные ошибки. В документации об этом ничего не сказано.
* Нельзя использовать c SeaweedFS клиент minio mc. Не понятно что с ним не так, с minio он работает нормально, а с SeaweedFS сыплет ошибками, работает нестабильно и зависает.
weed -v 2 filer -master=172.16.5.63:9333,10.0.1.54:9333,10.0.2.54:9333 -peers=172.16.5.63:8888,10.0.1.54:8888,10.0.2.54:8888 -s3 -s3.config=/etc/seaweedfs/s3.json
Метаданные в кластере keydb.
Все наши проблемы которые были раньше, были в основном по двум причинам:
* Кластер после первого запуска действительно надо остановит и запустить ещё раз. Без этого лезут какие-то рандомные ошибки. В документации об этом ничего не сказано.
* Нельзя использовать c SeaweedFS клиент minio mc. Не понятно что с ним не так, с minio он работает нормально, а с SeaweedFS сыплет ошибками, работает нестабильно и зависает.
AS
А чему там валиться то?
AN
Привет, никто не сталкивался с таким:
есть кластер с минио. сеть 10G, RAM 64GB
начинаю лить данные с любой ноды, примерно после 200-300гб, скорость работы сети на ноде уходит в ноль. Те любое приложение на хосте через сеть качает в районе 1мб/с, curl, wget, scp.
если перезапустить minio скорость становится нормальной.
крутил sysctl, обновлял ядро, все примерно одинаково.
Linux minio01 4.19.0-14-amd64 #1 SMP Debian 4.19.171-2 (2021-01-30) x86_64 GNU/Linux
Linux minio02 5.10.0-0.bpo.5-amd64 #1 SMP Debian 5.10.24-1~bpo10+1 (2021-03-29) x86_64 GNU/Linux
на разных серверах повторяется.
что такое делает минио с линуксом, что все тупить начинает?
есть кластер с минио. сеть 10G, RAM 64GB
начинаю лить данные с любой ноды, примерно после 200-300гб, скорость работы сети на ноде уходит в ноль. Те любое приложение на хосте через сеть качает в районе 1мб/с, curl, wget, scp.
если перезапустить minio скорость становится нормальной.
крутил sysctl, обновлял ядро, все примерно одинаково.
Linux minio01 4.19.0-14-amd64 #1 SMP Debian 4.19.171-2 (2021-01-30) x86_64 GNU/Linux
Linux minio02 5.10.0-0.bpo.5-amd64 #1 SMP Debian 5.10.24-1~bpo10+1 (2021-03-29) x86_64 GNU/Linux
на разных серверах повторяется.
что такое делает минио с линуксом, что все тупить начинает?