В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

DevOps Moscow

570 membersпожаловаться на группу
2019 April 22

МS

Михаил SinTeZoiD in DevOps Moscow
Hopf
Мы скачиваем из интернета картинки (иногда видео) размером до 1мб.

Кладем их на файловую систему XFS локально или через NFS (не спрашивай почему, просто вот так) после этого эти картинки или видео читают по директориям. Средний размер директории до 10гб.

Одновременно читают в 20+ потоков (разные директории)

Люди хотят читать это быстрее чем есть сейчас.
чем тебе не нравится вариант с s3-like стораджем?
источник
15:38пожаловаться#1

AA

Alexander Akilin in DevOps Moscow
что-то мне это напоминает
источник
15:38пожаловаться#2

H

Hopf in DevOps Moscow
Михаил SinTeZoiD
чем тебе не нравится вариант с s3-like стораджем?
Мне нравится. Осталось понять сколько % производительности я из этого выиграю
Единственный минус у решения - людям переписывать свои куски.
источник
15:39пожаловаться#3

DN

Dmitry Nagovitsin in DevOps Moscow
Михаил SinTeZoiD
чем тебе не нравится вариант с s3-like стораджем?
а че даст?
источник
15:39пожаловаться#4

DN

Dmitry Nagovitsin in DevOps Moscow
ну кроме удобства )
источник
15:39пожаловаться#5

H

Hopf in DevOps Moscow
Dmitry Nagovitsin
а че даст?
снижение нагрузки в запросах типа "getattr"
источник
15:41пожаловаться#6

МS

Михаил SinTeZoiD in DevOps Moscow
Dmitry Nagovitsin
а че даст?
если кластер достаточно большой, то данные более размыты по кластеру и чтение будет идти с разных дисков
источник
15:45пожаловаться#7

DN

Dmitry Nagovitsin in DevOps Moscow
Михаил SinTeZoiD
если кластер достаточно большой, то данные более размыты по кластеру и чтение будет идти с разных дисков
это можно и без с3
источник
15:45пожаловаться#8

DN

Dmitry Nagovitsin in DevOps Moscow
Hopf
снижение нагрузки в запросах типа "getattr"
ой ли?
источник
15:46пожаловаться#9

H

Hopf in DevOps Moscow
Михаил SinTeZoiD
если кластер достаточно большой, то данные более размыты по кластеру и чтение будет идти с разных дисков
Это ты на цеф намекаешь?
источник
15:46пожаловаться#10

МS

Михаил SinTeZoiD in DevOps Moscow
Dmitry Nagovitsin
это можно и без с3
можно, но если речь идет о 400тб о s3 надо уже задуматься
источник
15:47пожаловаться#11

МS

Михаил SinTeZoiD in DevOps Moscow
Hopf
Это ты на цеф намекаешь?
не только
источник
15:47пожаловаться#12

МS

Михаил SinTeZoiD in DevOps Moscow
можно писос прикрутить
источник
15:47пожаловаться#13

H

Hopf in DevOps Moscow
Dmitry Nagovitsin
ой ли?
не уверен, именно поэтому я начал этот холиварный вопрос
источник
15:47пожаловаться#14

DN

Dmitry Nagovitsin in DevOps Moscow
Hopf
не уверен, именно поэтому я начал этот холиварный вопрос
ну, теоритически - у тебя аттрибуты файла лежат на фс
источник
15:47пожаловаться#15

DN

Dmitry Nagovitsin in DevOps Moscow
так?
источник
15:47пожаловаться#16

H

Hopf in DevOps Moscow
догадываюсь, что да. Даже догадываюсь что их можно хранить где-то в другом месте
источник
15:48пожаловаться#17

H

Hopf in DevOps Moscow
Но это зависит от FS, если я буду использовать FS
источник
15:49пожаловаться#18

DN

Dmitry Nagovitsin in DevOps Moscow
Hopf
догадываюсь, что да. Даже догадываюсь что их можно хранить где-то в другом месте
я к тому, что сам по себе с3 скорей всего так же пойдет за аттрибутами на фс
источник
15:49пожаловаться#19

МS

Михаил SinTeZoiD in DevOps Moscow
Dmitry Nagovitsin
я к тому, что сам по себе с3 скорей всего так же пойдет за аттрибутами на фс
почитай как работает s3
источник
15:51пожаловаться#20