+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Обновление до Proxmox 7 — интерфейс Bond (LACP) больше не работает, Proxmox Виртуальная Среда

houbidoo

Guest

07.07.2021 08:44:00

Привет! Вчера я обновил два одинаковых сервера (Supermicro с встроенными Intel i350 NIC) до Proxmox 7.0. Серверы подключены через 2* bonded-интерфейса к коммутатору Juniper с настроенными ae-интерфейсами и LACP. Третий сервер с другим железом тоже обновили. Один сервер работает как обычно, а у второго bonded-интерфейсы перестали работать, и на коммутаторе Juniper видно, что сервер не посылает LACP PDUs. Третий сервер ведёт себя так же.

На сервере физические интерфейсы активны, bonded-интерфейсы в состоянии down. Bridge 0 отключен (IPv4 настроен), Bridge 1 включён (без IP на хост Proxmox, используется только для ВМ).

Есть идеи?

Конфигурация Juniper Switch: -->> для работающего Proxmox Server 1

set interfaces ge-0/0/14 ether-options 802.3ad ae7
set interfaces ge-1/0/14 ether-options 802.3ad ae7
set interfaces ae7 description Host01_Kunden_Management
set interfaces ae7 aggregated-ether-options lacp active
set interfaces ae7 unit 0 description Host01_Kunden_Management
set interfaces ae7 unit 0 family ethernet-switching vlan members VLAN700
set interfaces ge-0/0/14 description Host01_Kunden_Management
set interfaces ge-0/0/14 ether-options 802.3ad ae7
set interfaces ge-1/0/14 description Host01_Kunden_Management
set interfaces ge-1/0/14 ether-options 802.3ad ae7

... второй LACP настроен аналогично.

Конфигурация Juniper Switch: -->> для НЕ работающего Proxmox Server 2

set interfaces ge-0/0/12 ether-options 802.3ad ae4
set interfaces ge-1/0/12 ether-options 802.3ad ae4
set interfaces ae4 description Host02_Kunden_Management
set interfaces ae4 aggregated-ether-options lacp active
set interfaces ae4 unit 0 description Host02_Kunden_Management
set interfaces ae4 unit 0 family ethernet-switching vlan members VLAN700
set interfaces ge-0/0/12 description Host02_Kunden_Management
set interfaces ge-0/0/12 ether-options 802.3ad ae4
set interfaces ge-1/0/12 description Host02_Kunden_Management
set interfaces ge-1/0/12 ether-options 802.3ad ae4

Сетевая конфигурация работающего Proxmox Server 1

auto lo
iface lo inet loopback
iface eno1 inet manual
iface eno2 inet manual
iface eno3 inet manual
iface eno4 inet manual
auto bond0
iface bond0 inet manual
bond-slaves eno1 eno2
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3 # MGMT LACP
auto bond1
iface bond1 inet manual
bond-slaves eno3 eno4
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3 # VM сеть LACP
auto vmbr0
iface vmbr0 inet static
address 10.240.0.201/24
gateway 10.240.0.254
bridge-ports bond0
bridge-stp off
bridge-fd 0 # MGMT IP
auto vmbr1
iface vmbr1 inet manual
bridge-ports bond1
bridge-stp off
bridge-fd 0 # VM сеть IP

Сетевая конфигурация работающего Proxmox Server 2

auto lo
iface lo inet loopback
auto eno1
iface eno1 inet manual
auto eno2
iface eno2 inet manual
auto eno3
iface eno3 inet manual
auto eno4
iface eno4 inet manual
auto bond0
iface bond0 inet manual
bond-slaves eno1 eno2
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3 # LACP MGMT
auto bond1
iface bond1 inet manual
bond-slaves eno3 eno4
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3 # LACP VM сеть
auto vmbr0
iface vmbr0 inet static
address 10.240.0.202/24
gateway 10.240.0.254
bridge-ports bond0
bridge-stp off
bridge-fd 0 # Management
auto vmbr1
iface vmbr1 inet manual
bridge-ports bond1
bridge-stp off
bridge-fd 0 # VM сеть

Статистика LACP на Juniper switch для НЕ работающих Proxmox интерфейсов (не получаем LACP PDUs от хоста Proxmox):

show lacp statistics interfaces ae4
Aggregated interface: ae4
LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx
ge-0/0/12 0 3035 0 0
ge-1/0/12 0 3006 0 0

show lacp statistics interfaces ae5
Aggregated interface: ae5
LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx
ge-0/0/13 0 3035 0 0
ge-1/0/13 0 3013 0 0

show lacp statistics interfaces ae6
Aggregated interface: ae6
LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx
ge-0/0/11 0 3351 0 0
ge-1/0/11 0 3323 0 0

dan.ger

Guest

22.07.2021 12:32:00

Та же проблема после обновления с 6 на 7 (3x Bonds LCAP 803.ad). Ifupdown2 не установлен, но есть net-tools (ifconfig). Но у меня не получилось с таким: Code: systemctl enable networking; reboot Отключение авто ensxx решило проблему, так что придётся копать дальше...

dan.ger Guest	#3 0 22.07.2021 12:53:00 После установки ifupdown2 всё работает отлично.

raistlinkell

Guest

05.08.2021 18:00:00

Я читал разные сообщения на эту тему и должен признаться, что немного запутался. Свежая установка Proxmox Backup 2.0 (наконец-то заработал GUI установки!) на HP Microserver с PCIe-картой Startech Dual GBit. В Microserver есть встроенный сетевой интерфейс, а Startech Dual GBit NIC поддерживает 802.3ad LACP. Я настроил etherchannel с двумя интерфейсами на Cisco 3560 в режиме "active" (то есть LACP) в транке. Я знаю, что конфигурация Cisco правильная, так как у меня есть другие сервера Proxmox VE 6.4 с такой же картой Startech Dual на других etherchannel на том же коммутаторе.

Вот моя конфигурация /etc/network/interfaces:

auto lo
iface lo inet loopback

auto enp6s0
iface enp6s0 inet static
address 10.100.1.14/24
gateway 10.100.1.254
# Встроенный NIC

iface enp4s0 inet manual
# Startech Card NIC1

iface enp5s0 inet manual
# Startech Card NIC2

auto bond0
iface bond0 inet manual
# NIC BOND0
bond-mode 802.3ad
bond_xmit_hash_policy layer2+3
bond-slaves enp4s0 enp5s0

iface vmbr1 inet manual
# vBridge к BOND0
bridge-vlan-aware yes
bridge-ports bond0

auto vmbr110
iface vmbr110 inet static
# ProxBackup VLAN110
address 10.110.1.14/27
bridge-ports vmbr1.110

auto vmbr168
iface vmbr168 inet static
# Internal VLAN168
address 192.168.120.123/24
bridge-ports vmbr1.168

Встроенный NIC работает прекрасно. VLAN на BOND0 вообще не работают. Команда "show etherchannel summary" на 3560 показывает, что bonded NIC работают нормально. Буду признателен за любые советы. Спасибо!

vesalius Guest	#5 0 06.08.2021 15:23:00 Возможно, стоит попробовать добавить iface vmbr1 inet manual #vBridge к BOND0 bridge-ports bond0 bridge-vlan-aware yes bridge-vids 2-4094

raistlinkell Guest	#6 0 31.08.2021 02:42:00 Привет, vesalius и все остальные! В итоге я откатился обратно на Debian Buster и Proxmox Backup v1.1. Как только в Proxmox GUI улучшат настройку сети и объединение интерфейсов, подумаю об обновлении. PVE6.4 делает всё, что мне нужно.

spirit

Guest

31.08.2021 14:36:00

Правильная конфигурация с vlan-aware bridge: https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#_vlan_802_1q

Код:
iface vmbr1 inet manual
#vBridge к BOND0
bridge-vlan-aware yes
bridge-ports bond0

auto vmbr1.100
iface vmbr1.100 inet static
#ProxBackup VLAN110
address 10.110.1.14/27

auto vmbr1.168
iface vmbr1.168 inet static
#Internal VLAN168
address 192.168.120.123/24

raistlinkell

Guest

10.09.2021 01:22:00

Spirit, извиняюсь за задержку с ответом. Спасибо, что прояснили вопрос с разрешением. Недавно установил третий сервер PVE 6.4 и настроил репликацию и HA в кластере. У меня есть пара стареньких десктопов, которые хочу использовать, чтобы поднять PVE 7.x, и как только сделаю, отпишусь с конфигурацией интерфейсов для объединённых сетевых карт и VLAN.

entilza Guest	#9 0 22.05.2022 05:35:00 Прежде всего, спасибо. Мне пришлось убрать строку: auto eno1, затем перезапустить сеть, и всё заработало. Потом я переустановил ifupdown2, зашёл в графический интерфейс, сбросил настройки — и всё вернулось к исходным, но теперь работает с строками auto eno1. Это потому, что ifupdown2 убрали при обновлении?

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры