Size: a a a

SDS и Кластерные FS

2021 January 10

AK

Alex Kokh in SDS и Кластерные FS
ivdok
Это не файловая система, да и тулзы на базе rsync задыхаются на кейсе "туча мелких файлов с постоянной ротацией"
угу. но в целом стоит задача обеспечить один набор файлов на пачке серверов. более-менее консистентный.
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Alex Kokh
угу. но в целом стоит задача обеспечить один набор файлов на пачке серверов. более-менее консистентный.
nfs?
источник

i

ivdok in SDS и Кластерные FS
Alex Kokh
угу. но в целом стоит задача обеспечить один набор файлов на пачке серверов. более-менее консистентный.
Хз-хз, я легко состояния гонки добивался на 600к+ файлов
источник

AK

Alex Kokh in SDS и Кластерные FS
да. возможно. с drbd и прочей обвязкой и костылями для отказоустойчивости. вопрос как раз в том не появилось ли чего более адекватного
источник

i

ivdok in SDS и Кластерные FS
Интернет-магазин на modx, если интересно, откуда такая цифра взялась
источник

AK

Alex Kokh in SDS и Кластерные FS
ivdok
Хз-хз, я легко состояния гонки добивался на 600к+ файлов
да я и на меньшем числе веселости ловил
источник

AK

Alex Kokh in SDS и Кластерные FS
ivdok
Интернет-магазин на modx, если интересно, откуда такая цифра взялась
ага. похожие кейсы. на битриксе или мадженте
источник

i

ivdok in SDS и Кластерные FS
В итоге оказалось лучше развернуть галеру и часть говна туда впихнуть. Шило на мыло в архитектурном плане, но в mysql/mariadb хотя бы консистентность было проще поддерживать. Чисто теоретически подошёл бы гластер, но он плохо себя чувствует на больших расстояниях
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
блин, мы только статику по сети гоняете? или php файлы тожу?
источник

AK

Alex Kokh in SDS и Кластерные FS
Slava Anzhiganov
блин, мы только статику по сети гоняете? или php файлы тожу?
php тоже. статика как таковая в s3 перекладывается и проблема решается. а вот с php из-за особенностей архитектуры при масштабировании - проблема
источник

AK

Alex Kokh in SDS и Кластерные FS
ivdok
В итоге оказалось лучше развернуть галеру и часть говна туда впихнуть. Шило на мыло в архитектурном плане, но в mysql/mariadb хотя бы консистентность было проще поддерживать. Чисто теоретически подошёл бы гластер, но он плохо себя чувствует на больших расстояниях
ну я еще в сторону moose смотрю. но тоже так себе
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Alex Kokh
php тоже. статика как таковая в s3 перекладывается и проблема решается. а вот с php из-за особенностей архитектуры при масштабировании - проблема
разве общая скорость сайта не замедляется при этом, если скрипты по сетке колбасятся?
источник

AK

Alex Kokh in SDS и Кластерные FS
Slava Anzhiganov
разве общая скорость сайта не замедляется при этом, если скрипты по сетке колбасятся?
замедляется. но в теории оно в кеш должно лечь и там лежать
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Alex Kokh
замедляется. но в теории оно в кеш должно лечь и там лежать
кеш?
источник

i

ivdok in SDS и Кластерные FS
Slava Anzhiganov
разве общая скорость сайта не замедляется при этом, если скрипты по сетке колбасятся?
Синк на каждое изменение, а дальше со скоростью обычной
источник

AK

Alex Kokh in SDS и Кластерные FS
обычный кеш фс
источник

i

ivdok in SDS и Кластерные FS
Ну и opcache ещё
источник

AK

Alex Kokh in SDS и Кластерные FS
и оно тоже
источник

AK

Alex Kokh in SDS и Кластерные FS
я в целом не спорю что это костыль к кривой архитектуре. но эта кривая архитектура становится что-то уж сильно распространенной.
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Alex Kokh
я в целом не спорю что это костыль к кривой архитектуре. но эта кривая архитектура становится что-то уж сильно распространенной.
мне кажется проблема тут как донести до разрабов, что статику надо выделять в отдельную директорию для статики, например, битрикс и wordpress в этом плане оченю ущербны
источник