Я про сам подход в работе с ec. Никто не считает ec сразу побайтово, при расчёте в любом случае происходит чанкинг.

вроде да. у weed filer есть опция -maxMB, по дефолту 4

Тестил вчера Seaweed кластер под раздачу видео mp4.
6 серверов (Volume) на каждом 4x4TB (HGST HUS726T4TALA6L1), ОСь на SSD, 1 Гбит
1 сервер (Master + Filer), 1 Гбит
1 сервер (Filer) под раздачу 10 Гбит. Файлер примаунтил на папку, отключил все кеши
weed mount -filer=localhost:8888 -dir=/var/www/test -filer.path=/  -cacheCapacityMB=0 -volumeServerAccess=publicUrl
Настроил Nginx, закинул 1TB видео и пустил трафик на ~2 Гбит. За считанные минуты LA вырос до 30-40 и скорость раздачи упала до 300-400 мбит. Занавес :)

Может там что-то тюнить надо, хз

Прихожу к тому, что надо делать менеджер контента, который по алгориму (Consistent-Hashing или Rendezvous Hashing) будет равномерно раскидывать видео по серверам. При чем, без сегментирования, а целиком.

Есть кто понимает в этом, подтолкните, если мысли правильные изложил :)

Уперлось в IO на hdd? iostat -kx 1 что показывал в util?

Нее, они можно сказать даже не напрягались

тут LA 30+ не видно)

LA был на раздающем, а это вольюм

а seaweed не умеет напрямую s3 api отдавать в nginx? сделать бакет наружу на чтение, без маунта?

Пик на графике

Я пробовал, но была странная ситуация. Хотя заявлено, что водоросль поддерживает ренж запросы, и я проксировал к нему ренж запрос, сивиид почему то возвращал файл целиком

странный график, чего-то ждали с сети, остальное локально было?

там все на внешней

локалки нет

я про то, откуда оно файлы берет... почему оно до этого не ждало сеть, а тут ждать начало. Или это хит в какой-то файл больше рамы, а остальное в раму в кеш помещалось... или что-то такое

клиент получил свой участок файла, а Nginx с кластера весь файл получает. В итоге канал в сторону кластера уперся и разадча встала