Size: a a a

VMware User Group Rus

2021 March 09

MO

Mr Orange in VMware User Group Rus
Андрей Андреевич
Боль и унижение я уже познал, странствовал 8 лет и все как положено 😂 Так что надеюсь на помощь
Вопрос пишите уже
источник

АА

Андрей Андреевич... in VMware User Group Rus
Есть небольшое корпоративное облако из 4х нод esxi 6.7 update3 и одним vCenter 6.7, схд VSAN. Локалка для виртуалок в облаке отделена от локалки для vSAN и vMotion. Сеть построена на базе 10Gb свича с пропускной способностью шины 4 Tb/s.
В облаке есть виртуалка с vsftpd сервером на 10 Тб. При передаче файлов размером до 600МБ с других виртуалкок по локалке  по FTP скорость 7.5 Гбит в секунду, что ок. При передаче файлов более 600МБ скорость падает до 30 Мбит в секунду. Такое впечатление что есть какой-то буфер размером ~600 MB, при переполнении которого падает скорость. На свиче полосы пропускания 4 Tb/s хватает с головой, так что в ограничения по порту не упираемся. Скорость чтения дисков с vSAN 9.6 ГБ/сек, скорость записи 1.1 ГБ/сек, так что в скорость дисков тоже не упираюсь.
Виртуалки на ОС Ubuntu 20.04.
Что может ограничивать скорость передачи? Может быть есть какая-то настройка буфера для виртуалок или vSAN
источник

АА

Андрей Андреевич... in VMware User Group Rus
Еще уточню, что в настройках FTP-сервера нет никаких ограничений на скорость и количество подключений
источник

i

iscsi in VMware User Group Rus
Андрей Андреевич
Есть небольшое корпоративное облако из 4х нод esxi 6.7 update3 и одним vCenter 6.7, схд VSAN. Локалка для виртуалок в облаке отделена от локалки для vSAN и vMotion. Сеть построена на базе 10Gb свича с пропускной способностью шины 4 Tb/s.
В облаке есть виртуалка с vsftpd сервером на 10 Тб. При передаче файлов размером до 600МБ с других виртуалкок по локалке  по FTP скорость 7.5 Гбит в секунду, что ок. При передаче файлов более 600МБ скорость падает до 30 Мбит в секунду. Такое впечатление что есть какой-то буфер размером ~600 MB, при переполнении которого падает скорость. На свиче полосы пропускания 4 Tb/s хватает с головой, так что в ограничения по порту не упираемся. Скорость чтения дисков с vSAN 9.6 ГБ/сек, скорость записи 1.1 ГБ/сек, так что в скорость дисков тоже не упираюсь.
Виртуалки на ОС Ubuntu 20.04.
Что может ограничивать скорость передачи? Может быть есть какая-то настройка буфера для виртуалок или vSAN
подробнее про "При передаче файлов размером до 600МБ с других виртуалкок по локалке  по FTP скорость 7.5 Гбит в секунду, что ок. При передаче файлов более 600МБ скорость падает до 30 Мбит в секунду."

при копировании откуда куда возникает проблема и когда не возникает?
источник

АА

Андрей Андреевич... in VMware User Group Rus
При копировании с других виртуалок в облаке. Проблема возникает при копировании файлов весом больше 600МБ, не возникает - когда файлы меньше 600МБ.
источник

N

Nikolay Kulikov in VMware User Group Rus
Андрей Андреевич
Есть небольшое корпоративное облако из 4х нод esxi 6.7 update3 и одним vCenter 6.7, схд VSAN. Локалка для виртуалок в облаке отделена от локалки для vSAN и vMotion. Сеть построена на базе 10Gb свича с пропускной способностью шины 4 Tb/s.
В облаке есть виртуалка с vsftpd сервером на 10 Тб. При передаче файлов размером до 600МБ с других виртуалкок по локалке  по FTP скорость 7.5 Гбит в секунду, что ок. При передаче файлов более 600МБ скорость падает до 30 Мбит в секунду. Такое впечатление что есть какой-то буфер размером ~600 MB, при переполнении которого падает скорость. На свиче полосы пропускания 4 Tb/s хватает с головой, так что в ограничения по порту не упираемся. Скорость чтения дисков с vSAN 9.6 ГБ/сек, скорость записи 1.1 ГБ/сек, так что в скорость дисков тоже не упираюсь.
Виртуалки на ОС Ubuntu 20.04.
Что может ограничивать скорость передачи? Может быть есть какая-то настройка буфера для виртуалок или vSAN
дайте полный Hardware конфиг с указаным точных моделей и конфигураций серверов, SSD, HDD и контроллеров
источник

u

uncleroot in VMware User Group Rus
Андрей Андреевич
Есть небольшое корпоративное облако из 4х нод esxi 6.7 update3 и одним vCenter 6.7, схд VSAN. Локалка для виртуалок в облаке отделена от локалки для vSAN и vMotion. Сеть построена на базе 10Gb свича с пропускной способностью шины 4 Tb/s.
В облаке есть виртуалка с vsftpd сервером на 10 Тб. При передаче файлов размером до 600МБ с других виртуалкок по локалке  по FTP скорость 7.5 Гбит в секунду, что ок. При передаче файлов более 600МБ скорость падает до 30 Мбит в секунду. Такое впечатление что есть какой-то буфер размером ~600 MB, при переполнении которого падает скорость. На свиче полосы пропускания 4 Tb/s хватает с головой, так что в ограничения по порту не упираемся. Скорость чтения дисков с vSAN 9.6 ГБ/сек, скорость записи 1.1 ГБ/сек, так что в скорость дисков тоже не упираюсь.
Виртуалки на ОС Ubuntu 20.04.
Что может ограничивать скорость передачи? Может быть есть какая-то настройка буфера для виртуалок или vSAN
памяти на вмку с vsftpd сколько выделено?
источник

i

iscsi in VMware User Group Rus
т.е. возникает проблема при копировании на эту виртуалку с vsftpd файлов >600Mb не важно откуда?
источник

АА

Андрей Андреевич... in VMware User Group Rus
uncleroot
памяти на вмку с vsftpd сколько выделено?
Выделено 4Гб памяти, кушает около 800-900 Мб
источник

N

Nikolay Kulikov in VMware User Group Rus
Nikolay Kulikov
дайте полный Hardware конфиг с указаным точных моделей и конфигураций серверов, SSD, HDD и контроллеров
и еще сколько дисковых групп + какие политики страйпинга?
источник

i

iscsi in VMware User Group Rus
Андрей Андреевич
Выделено 4Гб памяти, кушает около 800-900 Мб
покажите график утилизации памяти с этой машины до, во время и после копирования файла, на графике должно быть видно Total, Used, Cached как минимум
источник

АА

Андрей Андреевич... in VMware User Group Rus
iscsi
т.е. возникает проблема при копировании на эту виртуалку с vsftpd файлов >600Mb не важно откуда?
Конкретно с виртуалок в той же локальной сети, что и сам FTP сервер. Передачу с клиентов, подключенных к облаку не тестил (но там и канал 1Гб, а не 10Гб как между виртуалками) т.к. нет необходимости в таком использовании FTP.
источник

i

iscsi in VMware User Group Rus
Андрей Андреевич
Конкретно с виртуалок в той же локальной сети, что и сам FTP сервер. Передачу с клиентов, подключенных к облаку не тестил (но там и канал 1Гб, а не 10Гб как между виртуалками) т.к. нет необходимости в таком использовании FTP.
ну вы же понимаете, что вам нужно исключать варианты, где именно проблема и предлегаю начать это делать с графика утилизации памяти на машине с vsftpd
источник

I

I in VMware User Group Rus
Dobri den , ne podskajete kak udalit s lokalnovo storage VMFSL - 120GB ?
источник

u

uncleroot in VMware User Group Rus
я все-таки больше думаю в сторону io buffers на бубунте,
падение скорости одинаковое в случаях "один большой файл 700гб" и "семь файлов по 100 гб"?
источник

АА

Андрей Андреевич... in VMware User Group Rus
uncleroot
я все-таки больше думаю в сторону io buffers на бубунте,
падение скорости одинаковое в случаях "один большой файл 700гб" и "семь файлов по 100 гб"?
да, одинаковое
источник

i

iscsi in VMware User Group Rus
I
Dobri den , ne podskajete kak udalit s lokalnovo storage VMFSL - 120GB ?
vklyuchit' memory reservation
источник

i

iscsi in VMware User Group Rus
Андрей Андреевич
да, одинаковое
покажите уже график потребления памяти
источник

u

uncleroot in VMware User Group Rus
Андрей Андреевич
да, одинаковое
это странно, а под кэши какие железки стоят?
источник

АА

Андрей Андреевич... in VMware User Group Rus
15к hdd на 700gb
источник