+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

повторные попытки iperf3 на виртуальных машинах, Proxmox Виртуальная Среда

barryyancey

Guest

08.01.2025 19:41:00

Я запускаю кластер PVE (3 узла) на версии 6.8.12-4. У меня есть Dell R730XD и два R630. На двух серверах стоит Intel® 10GbE 4P X710 rNDC, а на третьем — BRCM 10G/GbE 2+2P 57800 rNDC. Тесты iperf3 отлично проходят между моим NAS и хостами PVE (а также их контейнерами), но не на виртуальных машинах, работающих на этих хостах. Пропускная способность хорошая, но, как видно, количество повторных попыток просто зашкаливает! Какие-нибудь идеи???

Производительность между NAS (10.0.1.100) и хостом PVE (apollo — 10.0.1.102) отличная.
Производительность между хостом PVE (apollo — 10.0.1.102) и ВМ (prod-plex — 10.0.1.105), которая работает на том же хосте apollo, отличная тоже.
Производительность между ВМ (prod-plex — 10.0.1.105) и NAS (10.0.1.100) очень плохая. NAS — Dell R720XD с Intel® 10GbE 4P X710 rNDC.

Ясно, что проблема не в коммутаторе, потому что хосты PVE и NAS отлично общаются между собой.
Смотрите загрузку на хостах PVE.

barryyancey Guest	#2 0 23.01.2025 19:48:00 Есть какие идеи???

jomm81 Guest	#3 0 24.03.2025 04:38:00 У меня такая же проблема, тебе удалось найти решение?

barryyancey Guest	#4 0 26.03.2025 03:11:00 К сожалению, нет.

jpeppard

Guest

13.05.2025 03:03:00

Я тоже только недавно заметил это. Iperf3 показывает очень много повторных попыток при передаче между виртуальными машинами в разных VLAN, то есть трафик, который идет из VM в VLAN1 к роутеру и обратно в VM в VLAN2, имеет большое количество повторных попыток. Все виртуальные машины на базе Debian и используют драйверы Virtio. Iperf3 между VM в одном VLAN на одном хосте Proxmox показывает ноль повторных попыток и отличную скорость. У меня установлен Mellanox X3 с кабелем SFP+ Twinax 10G. Пока не могу понять, было ли это всегда или появилось с последними версиями ядра. Планирую перейти на Mellanox X4, обновить прошивку и посмотреть, что получится.

john2069

Guest

15.05.2025 03:42:00

Я столкнулся с той же проблемой между моими виртуальными машинами и другим хостом, однако высокая частота повторных попыток возникает только при ОТПРАВКЕ с виртуальной машины. При ПРИЁМЕ с другого хоста на виртуальную машину всё работает идеально.

john2069 Guest	#7 0 15.05.2025 03:44:00 @barryyancey, ты можешь повторить тот же тест, но добавить опцию -R к команде iperf, чтобы поменять местами отправителя и получателя?

gregrob

Guest

27.05.2025 12:08:00

@john2069 @barryyancey — Я столкнулся с похожим поведением на своих Debian-виртуалках — особенно когда запускаешь трафик с ВМ на другой хост. Интересно, что при запуске iperf3 в обратном режиме (-R) проблем нет, что намекает на узкое место именно на стороне передачи из ВМ. Что реально помогло — это настройка некоторых TCP-буферов и параметров управления перегрузкой прямо внутри ВМ. Я не совсем уверен, что это настоящий фикс, потому что до конца не понимаю корень проблемы, но в моём случае производительность точно улучшилась: Bash: sudo sysctl -w net.core.rmem_max=12582912
sudo sysctl -w net.core.wmem_max=12582912
sudo sysctl -w net.ipv4.tcp_rmem="4096 87380 12582912"
sudo sysctl -w net.ipv4.tcp_wmem="4096 65536 12582912"
sudo sysctl -w net.ipv4.tcp_congestion_control=bbr
sudo sysctl -w net.ipv4.tcp_mtu_probing=1 Если это поможет и вам, можно сохранить изменения в .conf-файле в /etc/sysctl.d/

jpeppard Guest	#9 0 16.06.2025 00:12:00 Чтобы закрыть тему своей проблемы, о которой я писал выше — причина оказалась в моём роутере Mikrotik, у которого недостаточная буферизация пакетов на уровне аппаратного интерфейса. Я настроил управление потоком между роутером и коммутатором, и это значительно помогло уменьшить потерю пакетов.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры