Привет! У меня проблемы с тем, чтобы VLANы нормально заработали в моём новом кластере Proxmox. Надеюсь, кто-то подскажет, как это исправить. Короче говоря, кажется, что Proxmox неправильно пропускает тегированные пакеты к моим виртуалкам.
Пример VLAN 542 (10.0.42.0/24): у меня есть дополнительная 10-гигабитная сетевая карта (NIC), подключённая к транковому порту на свитче. Для неё я создал vlan-aware мост (vmbr1) на интерфейсе enp65s0. Дальше у меня есть Windows 10 VM, который настроен использовать vmbr1 с VLAN тегом 542. В guest OS NIC настроен с IP 10.0.42.8. На другом роутере настроен IP 10.0.42.1. Если я пытаюсь пропинговать .1 с .8 — ответа нет. И наоборот, с .1 на .8 тоже нет.
Однако, если запустить tcpdump на узле proxmox для enp65s0, я вижу, что пакеты доходят (по крайней мере ARP-пакеты), но дальше не уходят.
TCPDump с пингом с .1 на .8:
Bash: root@hv2:~# tcpdump -envi enp65s0 -e '(vlan 542)'
-сокращено-
10:53:16.578688 18:fd:74:c1:4d:0a > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 60: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.8 tell 10.0.42.1, length 42
10:53:17.635885 18:fd:74:c1:4d:0a > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 60: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.8 tell 10.0.42.1, length 42
...
-сокращено-
Конфигурация сети на узле:
Bash: root@hv2:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Пожалуйста, НЕ редактируйте этот файл вручную, если не уверены, что делаете.
#
# Если хотите управлять частью конфигурации вручную,
# используйте директивы 'source' или 'source-directory'.
# PVE сохранит эти директивы, но НЕ будет читать конфигурацию
# из внешних файлов, так что не пытайтесь переносить
# интерфейсы, управляемые PVE, во внешние файлы!
auto lo
iface lo inet loopback
iface eno1 inet manual
iface eno3 inet manual
iface eno4 inet manual
iface eno2 inet manual
auto enp65s0
iface enp65s0 inet manual
#10G
auto vmbr0
iface vmbr0 inet static
address 10.10.44.36/24
gateway 10.10.44.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
auto vmbr1
iface vmbr1 inet manual
bridge-ports enp65s0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
#10GB Bridge
auto vlan88
iface vlan88 inet static
address 10.10.88.36/24
vlan-raw-device vmbr1
#CEPH VLAN 88
auto vlan542
iface vlan542 inet static
address 10.0.42.9/24
vlan-raw-device vmbr1
#Test VLAN 542
auto vlan42
iface vlan42 inet static
address 10.10.42.242/24
vlan-raw-device vmbr1
#Test VLAN 42
Всё выше было сгенерировано через GUI. Как видите, у меня настроено ещё несколько VLANов, которые я использую для тестов. Linux VLANы с IP-адресами на гипервизоре тоже не работают… за исключением VLAN 88!? Вот это меня реально ставит в тупик: VLAN 88 отлично работает от роутера к узлу и к гостевой виртуалке (если переключить с 542 на 88).
Изначально эта последняя деталь заставила меня усомниться в конфигурации свитча. Но я использую этот свитч для транкинга на несколько других свитчей без проблем, и порт настроен одинаково. Более того, tcpdump показывает, что пакеты приходят по правильному VLAN.
Если запустить захват пакетов на мосту vmbr1, видно, что виртуалка шлёт ARP-запросы, а роутер на .1 до моста вообще не доходит.
Bash: root@hv2:~# tcpdump -envi vmbr1 -e '(vlan 542)'
tcpdump: listening on vmbr1, link-type EN10MB (Ethernet), snapshot length 262144 bytes
11:06:17.091353 5e:87:93:37:21:39 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.1 tell 10.0.42.8, length 28
11:06:18.079245 5e:87:93:37:21:39 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.1 tell 10.0.42.8, length 28
...
7 пакетов захвачено
7 пакетов прошло фильтр
0 пакетов потеряно ядром
Вполне возможно, что я упускаю что-то очень простое. Заранее благодарен за любые советы! Спасибо!
Пример VLAN 542 (10.0.42.0/24): у меня есть дополнительная 10-гигабитная сетевая карта (NIC), подключённая к транковому порту на свитче. Для неё я создал vlan-aware мост (vmbr1) на интерфейсе enp65s0. Дальше у меня есть Windows 10 VM, который настроен использовать vmbr1 с VLAN тегом 542. В guest OS NIC настроен с IP 10.0.42.8. На другом роутере настроен IP 10.0.42.1. Если я пытаюсь пропинговать .1 с .8 — ответа нет. И наоборот, с .1 на .8 тоже нет.
Однако, если запустить tcpdump на узле proxmox для enp65s0, я вижу, что пакеты доходят (по крайней мере ARP-пакеты), но дальше не уходят.
TCPDump с пингом с .1 на .8:
Bash: root@hv2:~# tcpdump -envi enp65s0 -e '(vlan 542)'
-сокращено-
10:53:16.578688 18:fd:74:c1:4d:0a > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 60: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.8 tell 10.0.42.1, length 42
10:53:17.635885 18:fd:74:c1:4d:0a > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 60: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.8 tell 10.0.42.1, length 42
...
-сокращено-
Конфигурация сети на узле:
Bash: root@hv2:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Пожалуйста, НЕ редактируйте этот файл вручную, если не уверены, что делаете.
#
# Если хотите управлять частью конфигурации вручную,
# используйте директивы 'source' или 'source-directory'.
# PVE сохранит эти директивы, но НЕ будет читать конфигурацию
# из внешних файлов, так что не пытайтесь переносить
# интерфейсы, управляемые PVE, во внешние файлы!
auto lo
iface lo inet loopback
iface eno1 inet manual
iface eno3 inet manual
iface eno4 inet manual
iface eno2 inet manual
auto enp65s0
iface enp65s0 inet manual
#10G
auto vmbr0
iface vmbr0 inet static
address 10.10.44.36/24
gateway 10.10.44.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
auto vmbr1
iface vmbr1 inet manual
bridge-ports enp65s0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
#10GB Bridge
auto vlan88
iface vlan88 inet static
address 10.10.88.36/24
vlan-raw-device vmbr1
#CEPH VLAN 88
auto vlan542
iface vlan542 inet static
address 10.0.42.9/24
vlan-raw-device vmbr1
#Test VLAN 542
auto vlan42
iface vlan42 inet static
address 10.10.42.242/24
vlan-raw-device vmbr1
#Test VLAN 42
Всё выше было сгенерировано через GUI. Как видите, у меня настроено ещё несколько VLANов, которые я использую для тестов. Linux VLANы с IP-адресами на гипервизоре тоже не работают… за исключением VLAN 88!? Вот это меня реально ставит в тупик: VLAN 88 отлично работает от роутера к узлу и к гостевой виртуалке (если переключить с 542 на 88).
Изначально эта последняя деталь заставила меня усомниться в конфигурации свитча. Но я использую этот свитч для транкинга на несколько других свитчей без проблем, и порт настроен одинаково. Более того, tcpdump показывает, что пакеты приходят по правильному VLAN.
Если запустить захват пакетов на мосту vmbr1, видно, что виртуалка шлёт ARP-запросы, а роутер на .1 до моста вообще не доходит.
Bash: root@hv2:~# tcpdump -envi vmbr1 -e '(vlan 542)'
tcpdump: listening on vmbr1, link-type EN10MB (Ethernet), snapshot length 262144 bytes
11:06:17.091353 5e:87:93:37:21:39 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.1 tell 10.0.42.8, length 28
11:06:18.079245 5e:87:93:37:21:39 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 542, p 0, ethertype ARP (0x0806), Ethernet (len 6), IPv4 (len 4), Request who-has 10.0.42.1 tell 10.0.42.8, length 28
...
7 пакетов захвачено
7 пакетов прошло фильтр
0 пакетов потеряно ядром
Вполне возможно, что я упускаю что-то очень простое. Заранее благодарен за любые советы! Спасибо!
