+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

QinQ на виртуальном коммутаторе Hetzner, Proxmox Виртуальная Среда

reflect

Guest

21.12.2019 11:03:00

Привет! Сейчас я мучаюсь с настройкой QinQ в моём Proxmox кластере. Серверы работают на инфраструктуре Hetzner и подключены через функцию Hetzner vSwitch. Максимум к одному серверу можно подключить пять vSwitch’ей, но я хочу изолировать больше пяти DMZ-сетей друг от друга. Поэтому пытаюсь настроить VLAN поверх VLAN от Hetzner vSwitch. Согласно этой теме, моя текущая конфигурация теоретически должна работать, но ВМ никак не пингуются между собой, значит, я чего-то не додумал.

Код:
iface enp35s0 inet manual
...
iface enp35s0.4040 inet manual
vlan-raw-device enp35s0
mtu 1400
...
auto vmbr40
iface vmbr40 inet manual
bridge_ports enp35s0.4040
bridge_stp off
bridge_fd 0

#DMZ
ВМ подключены к vmbr40, а под ними тег настроен прямо через графический интерфейс Proxmox.

Две виртуальные машины я подключил таким образом и задал им статические IP. К сожалению, машины не могут общаться друг с другом через этот интерфейс. Буду благодарен за любые советы или комментарии. Всем счастливых праздников!

spirit

Guest

04.01.2020 15:30:00

Думаю, Hetzner vswitch уже использует vxlan внутри, так что это может объяснять, почему можно использовать vxlan или qinq. Сейчас я всё ещё работаю над функцией SDN для proxmox (маршрутизация vxlan с anycast-шлюзом). Цель — подготовить это для proxmox 6.2. Когда всё будет готово, вы сможете легко управлять vxlan без vswitch.

reflect

Guest

04.01.2020 17:39:00

Спасибо за отзыв. У меня вообще нет опыта с SDN, поэтому я не совсем понимаю, как это работает. Значит, это открывает возможность создать несколько отдельных сетей на одном приватном интерфейсе, который не поддерживает VLAN? Есть ли у вас информация о возможной дате выхода этой функции? Звучит очень здорово. Большое спасибо за вашу работу.

Я снова обратился в техподдержку Hetzner, спросил, как я могу решить свою задачу на их инфраструктуре. Оказалось, что 5-портовый коммутатор на 1 Гбит/с (2€ без НДС), который я заказал, VLAN не поддерживает. Зато 12-портовый коммутатор на 10 Гбит/с (43€ без НДС), который они предлагают — это Ubiquiti ES-16-XG (SFP+), и он действительно поддерживает VLAN (подробнее см. в разделе Root Server Hardware). Не уверен, стоит ли переплачивать дополнительные 41€. Но с другой стороны, это открыло бы возможность обновить нашу внутреннюю сеть с 1 Гбит/с до 10 Гбит/с, что может быть неплохой идеей, учитывая, что, скорее всего, будет много трафика с Ceph, Corosync, pfSync и так далее.

spirit

Guest

04.01.2020 18:11:00

Спасибо за отзыв. У меня вообще нет опыта с SDN, так что я не совсем понимаю, как это работает. Это открывает возможность создавать несколько отдельных сетей на одном приватном интерфейсе, который не поддерживает VLAN? Да. Для этого будет использоваться vxlan (простейший туннель уровня 2 или уровень 3 с маршрутизацией — каждый хост proxmox будет иметь тот же IP, что и шлюз для виртуальной машины). Так что это должно работать в любой сети, если в базовой сети уже не используется vxlan. Есть ли информация о возможной дате выпуска этой функции? Звучит очень здорово. Спасибо большое за вашу работу. Почти готово, должно быть готово максимум к proxmox 6.2, может даже раньше (думаю, максимум через 2-3 месяца).

zrtx

Guest

23.05.2022 11:38:00

Я на самом деле смог это запустить, используя vxlan на Hetzner. Значит ли это, что всё действительно работает и сотрудник ошибался, или же это может вызвать проблемы в любой момент, и мне лучше перестать так делать и найти другое решение?

Вот настройка в /etc/network/interfaces:

Интерфейс vmbr0.4002 — это Hetzner vSwitch vlan, в котором находятся все три узла Proxmox.

proxmox node1:
Код:
auto vmbr0.4002
iface vmbr0.4002 inet static
address 192.168.111.14/24
mtu 1400

auto vmbr1
iface vmbr1 inet manual
bridge-ports vxlan2
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 1400

auto vxlan2
iface vxlan2 inet manual
vxlan-id 2
vxlan_remoteip 192.168.111.15
vxlan_remoteip 192.168.111.16
mtu 1400

proxmox node2:
Код:
auto vmbr0.4002
iface vmbr0.4002 inet static
address 192.168.111.15/24
mtu 1400

auto vmbr1
iface vmbr1 inet manual
bridge-ports vxlan2
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 1400

auto vxlan2
iface vxlan2 inet manual
vxlan-id 2
vxlan_remoteip 192.168.111.14
vxlan_remoteip 192.168.111.16
mtu 1400

proxmox node3:
Код:
auto vmbr0.4002
iface vmbr0.4002 inet static
address 192.168.111.16/24
mtu 1400

auto vmbr1
iface vmbr1 inet manual
bridge-ports vxlan2
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 1400

auto vxlan2
iface vxlan2 inet manual
vxlan-id 2
vxlan_remoteip 192.168.111.14
vxlan_remoteip 192.168.111.15
mtu 1400

После этого можно создавать виртуалки и назначать им vmbr1 с нужным VLAN. MTU внутри виртуалок должно быть меньше 1400, потому что накладные расходы на инкапсуляцию vxlan составляют 50 байт, значит всем виртуалкам нужно установить MTU 1350 или меньше. Кто-нибудь может подтвердить, что 50 байт этого хватает и это безопасно? У меня пока никаких проблем не было (ну, по крайней мере...).

Если у вас есть шлюз типа pfSense, назначайте vmbr1 без тега, а VLANы можно задать в pfSense (не забудьте там тоже выставить MTU 1350).

spirit Guest	#6 0 23.05.2022 11:40:00 Да, 50 байт — это минимум для vxlan.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры