Привет! У нас заказана пара коммутаторов Mellanox модели sn2700 с Cumulus Linux. Мы будем заменять стек Netgear m5300. Сейчас заранее изучаю, как настроить PVE вместе с коммутаторами. У нас 7-узловой кластер. Каждый узел:

- работает с 4 Ceph NVMe OSD,
- 5-6 виртуальных машин и 2-3 контейнера,
- имеет сетевые карты ConnectX-4 и ConnectX-5: одна для Ceph, другая для vmbr.

Коммутаторы будут настроены как MLAG. Один коммутатор уже здесь, лицензия Cumulus должна скоро прийти.

---------------------------------------------------------------

Я работаю с сетевыми интерфейсами и предлагаю попробовать такую настройку:

На коммутаторе:

```
### Cumulus — добавляем тестовые VLAN:
net add vlan 130 ip address 10.1.130.1/24
net add vlan 131 ip address 10.1.131.1/24
net add vlan 132 ip address 10.1.132.1/24
```

Файл /etc/network/interfaces для Cumulus:

```
auto bridge
iface bridge
   bridge-ports swp1-swp8
   bridge-vids 130-132
   bridge-pvid 1
   bridge-vlan-aware yes
```

На PVE:

```
### PVE — /etc/network/interfaces

auto bond3
iface bond3 inet manual
       bond-slaves enp4s0f0 enp4s0f1
       bond-miimon 100
       bond-mode 802.3ad
       bond-xmit-hash-policy layer2+3
       mtu 9000

auto vmbr3
iface vmbr3 inet static
       address 10.1.130.3/24
       bridge-ports bond3
       bridge-stp off
       bridge-fd 0
       bridge-vlan-aware yes
       bridge-vids 130-132
       mtu 9000
```

-------------------------------------------

Честно говоря, сомневаюсь, что это идеальная конфигурация. Если у кого-то есть идеи, как улучшить — буду рад! А также любые общие советы по работе с Cumulus тоже приветствуются. Документация у них очень хорошая и легко понимаемая.