Аспро: ЛайтШоп [тема: Проблемы с Openvswitch]

Аспро: ЛайтШоп [тема: Проблемы с Openvswitch] http://proxmox.su Новое в теме Проблемы с Openvswitch форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 13 Nov 2026 01:39:55 +0300 Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Wolfgang. Вывод команды 'pveversion -v' в моём тесте был сделан до установки OVS. Моя обратная связь была, по сути, подтверждением того, что всё работает как положено, и что мои, а скорее всего и чужие проблемы, возникали из-за того, что мы устанавливали OVS до добавления репозитория no-subscription.

Повторяя тест из пункта #16 выше: если запускать 'apt-get install openvswitch-switch' до добавления репозитория no-subscription, возникает та же проблема, с которой мы сталкивались изначально.

Симптомы: установка Debian-пакета openvswitch не включает net-tools. Просто проверьте, работает ли команда 'ifconfig' (она должна работать, если это пакет openvswitch от Proxmox, так как они указывают его как зависимость и собирают пакет с ней).

Debian-пакеты можно определить так:
Code:
root@pve-test:~# dpkg -l | grep openvswitch
ii openvswitch-common 2.6.2~pre+git20161223-3 amd64 Общие компоненты Open vSwitch
ii openvswitch-switch 2.6.2~pre+git20161223-3 amd64 Реализация коммутатора Open vSwitch

Вот вывод при установке стандартных Debian-пакетов openvswitch:
Code:
root@pve-test:~# apt-get install openvswitch-switch
Чтение списков пакетов... Готово
Построение дерева зависимостей
Чтение информации о состоянии... Готово
Будут установлены дополнительно:
libatomic1 openvswitch-common uuid-runtime
Рекомендуемые пакеты:
ethtool
Будут установлены новые пакеты:
libatomic1 openvswitch-common openvswitch-switch uuid-runtime

Чтобы затем исправить проблему:
Code:
dpkg --purge openvswitch-common openvswitch-switch;
echo -e "\n# Репозиторий PVE pve-no-subscription от proxmox.com, НЕ рекомендуется для использования в продакшене\ndeb http://download.proxmox.com/debian stretch pve-no-subscription" >> /etc/apt/sources.list;
apt-get update; apt-get -y dist-upgrade; apt-get autoremove; apt-get autoclean;
apt-get install openvswitch-switch;

Вот вывод при установке пакетов openvswitch от Proxmox:
Code:
Будут установлены дополнительно:
libatomic1 net-tools openvswitch-common
Рекомендуемые пакеты:
ethtool openvswitch-datapath-module
Будут установлены новые пакеты:
libatomic1 net-tools openvswitch-common openvswitch-switch

Обратите внимание: 'net-tools'… И… всё работает…

Информация о пакетах от Proxmox:
Code:
root@pve-test:~# dpkg -l | grep openvswitch
ii openvswitch-common 2.7.0-2 amd64 Общие компоненты Open vSwitch
ii openvswitch-switch 2.7.0-2 amd64 Реализация коммутатора Open vSwitch
05.12.2017 09:15:00, David Herselman.]]> http://proxmox.su/forum/messages/forum63/message337234/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337234/79343-problemy-s-openvswitch Tue, 05 Dec 2017 09:15:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@David Herselman, я не вижу пакет openv-switch в выводе pveversion -v. Это может быть по двум причинам: 1) пакет не установлен, 2) вы установили Debian-пакет, который не работает с proxmox-ve.
05.12.2017 07:55:00, wolfgang.]]> http://proxmox.su/forum/messages/forum63/message337233/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337233/79343-problemy-s-openvswitch Tue, 05 Dec 2017 07:55:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Znuff. Всё верно. Я обнаружил свою ошибку, когда отправил ответ, а потом отредактировал его. Для тех, кому это может пригодиться, привожу рабочий конфигурационный файл интерфейсов при запуске OVS с bonded-интерфейсами:

Код:
auto lo
iface lo inet loopback

allow-vmbr0 bond0
iface bond0 inet manual
ovs_bridge vmbr0
ovs_type OVSBond
ovs_bonds eth0 eth1
pre-up ( ifconfig eth0 mtu 9000 && ifconfig eth1 mtu 9000 )
ovs_options bond_mode=balance-tcp lacp=active other_config:lacp-time=fast tag=1 vlan_mode=native-untagged
mtu 9000

auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports bond0 vlan1
mtu 9000

allow-vmbr0 vlan1
iface vlan1 inet static
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=1
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif
address 192.168.1.26
netmask 255.255.255.0
gateway 192.168.1.1
mtu 1500

auto eth2
iface eth2 inet manual

auto eth3
iface eth3 inet manual

Просто замените параметр ovs_options выше на следующий для активного/резервного режима:

Код:
ovs_options bond_mode=active-backup tag=1 vlan_mode=native-untagged
04.12.2017 16:11:00, David Herselman.]]> http://proxmox.su/forum/messages/forum63/message337232/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337232/79343-problemy-s-openvswitch Mon, 04 Dec 2017 16:11:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для настройки бонда нужно минимум 2 порта. Команда: ovs-vsctl add-bond vmbr0 bond0 ens18 сообщит вам, что требуется минимум 4 аргумента (то есть 2 физических порта).
04.12.2017 15:59:00, Znuff.]]> http://proxmox.su/forum/messages/forum63/message337231/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337231/79343-problemy-s-openvswitch Mon, 04 Dec 2017 15:59:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Основная проблема, с которой мы столкнулись, заключалась в том, что OVS не запускался, скрипт инициализации сети в итоге тайм-аутился через 5 минут. Система не имела out of band управления, поэтому отладка была затруднена. Хотя мы всё-таки привезли систему к себе в офис... Ошибок нигде не фиксировалось, но я почти уверен, что в /etc/init.d были файлы ovs или openswitch. Очень возможно, что причина была в установленном пакете ovswitch для Debian, так как, возможно, мы запускали 'apt-get install xxx' до добавления репозитория 'no-subscription'... Я только что проверил это, установив PVE 5.1 как гостевую систему, и всё работает идеально... Вот мои заметки:

Установил PVE 5.1 как виртуальную гостевую систему (вложенная виртуализация сейчас отключена), затем после перезагрузки вошёл и выполнил:
Code:
apt-get update; apt-get -y dist-upgrade; apt-get autoremove; apt-get autoclean;
echo -e "\n# PVE pve-no-subscription repository provided by proxmox.com, NOT recommended for production use\ndeb http://download.proxmox.com/debian stretch pve-no-subscription" >> /etc/apt/sources.list
apt-get update; apt-get -y dist-upgrade; apt-get autoremove; apt-get autoclean;

Code:
root@test-pve:~# pveversion -v
proxmox-ve: 5.1-28 (running kernel: 4.13.4-1-pve)
pve-manager: 5.1-36 (running version: 5.1-36/131401db)
pve-kernel-4.13.4-1-pve: 4.13.4-26
pve-kernel-4.13.8-2-pve: 4.13.8-28
libpve-http-server-perl: 2.0-6
lvm2: 2.02.168-pve6
corosync: 2.4.2-pve3
libqb0: 1.0.1-1
pve-cluster: 5.0-15
qemu-server: 5.0-17
pve-firmware: 2.0-3
libpve-common-perl: 5.0-20
libpve-guest-common-perl: 2.0-13
libpve-access-control: 5.0-7
libpve-storage-perl: 5.0-16
pve-libspice-server1: 0.12.8-3
vncterm: 1.5-2
pve-docs: 5.1-12
pve-qemu-kvm: 2.9.1-2
pve-container: 2.0-17
pve-firewall: 3.0-3
pve-ha-manager: 2.0-3
ksm-control-daemon: 1.2-2
glusterfs-client: 3.8.8-1
lxc-pve: 2.1.0-2
lxcfs: 2.0.7-pve4
criu: 2.11.1-1~bpo90
novnc-pve: 0.6-4
smartmontools: 6.5+svn4324-1
zfsutils-linux: 0.7.3-pve1~bpo9

/etc/network/interfaces до изменений:
Code:
auto lo
iface lo inet loopback

iface ens18 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.1.52
netmask 255.255.255.0
gateway 192.168.1.1
bridge_ports ens18
bridge_stp off
bridge_fd 0

Установил OVS:
Code:
apt-get install openvswitch-switch

/etc/network/interfaces после:
Code:
auto lo
iface lo inet loopback

allow-vmbr0 ens18
iface ens18 inet manual
ovs_bridge vmbr0
ovs_type OVSPort
ovs_options tag=1 vlan_mode=native-untagged
mtu 9000

auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports ens18 vlan1
mtu 9000

allow-vmbr0 vlan1
iface vlan1 inet static
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=1
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif
address 192.168.1.52
netmask 255.255.255.0
gateway 192.168.1.1
mtu 1500

Всё собрано как и ожидалось. Вот подтверждение от OVS:
Code:
root@test-pve:~# ovs-vsctl show
28766dfd-e40d-4843-9eab-8a246fbd62a7
Bridge "vmbr0"
Port "ens18"
tag: 1
Interface "ens18"
Port "vlan1"
tag: 1
Interface "vlan1"
type: internal
Port "vmbr0"
Interface "vmbr0"
type: internal
ovs_version: "2.7.0"
04.12.2017 15:44:00, David Herselman.]]> http://proxmox.su/forum/messages/forum63/message337230/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337230/79343-problemy-s-openvswitch Mon, 04 Dec 2017 15:44:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если вы не дадите больше информации, чем просто «не работает», будет трудно решить вашу проблему. Пожалуйста, предоставьте вывод команды 'pveversion -v', а также чёткое описание самой проблемы, включая любые сообщения об ошибках или ожидаемое поведение.
04.12.2017 10:42:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message337229/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337229/79343-problemy-s-openvswitch Mon, 04 Dec 2017 10:42:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня такие же проблемы с openvswitch (с установленным репозиторием pve-no-subscription). Простой мост вроде такого:
Code:
auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge

не работает с openvswitch 2.7.0-2 из репозитория без подписки. Это свежая установка. Ещё то, что упоминал David про необходимость ifconfig — если посмотреть код /usr/share/openvswitch/scripts/ifupdown.sh, там внутри для поднятия и опускания интерфейсов используется именно ifconfig, несмотря на то, что ifconfig считается устаревшим, и пакет openvswitch-switch от него зависит. Я не уверен, стоит ли рисковать с подпиской, учитывая, что версия без неё не работает.
03.12.2017 07:48:00, Znuff.]]> http://proxmox.su/forum/messages/forum63/message337228/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337228/79343-problemy-s-openvswitch Sun, 03 Dec 2017 07:48:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы добавили и удалили следующее до и после подписки на коробку:
Код: nano /etc/apt/sources.list
# Репозиторий PVE pve-no-subscription от proxmox.com, НЕ рекомендуется для использования в продакшене
deb http://download.proxmox.com/debian stretch pve-no-subscription

В любом случае, теперь у нас есть простая политика: мы не выпускаем установленные Proxmox системы для клиентов, использующих их в рабочей среде, пока система не получит доступ к репозиторию с подпиской и не будет обновлена.
21.11.2017 09:37:00, David Herselman.]]> http://proxmox.su/forum/messages/forum63/message337227/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337227/79343-problemy-s-openvswitch Tue, 21 Nov 2017 09:37:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В pve-enterprise никогда не бывает новых или дополнительных пакетов (всё наоборот: пакеты попадают в enterprise после более тщательного тестирования в no-subscription). net-tools не входит ни в один из репозиториев Proxmox, это часть стандартного Debian (но сейчас он уже не нужен, его заменил iproute2 с командами ip, ss и прочими). Возможно, твоя конфигурация репозиториев как-то сбилась, когда ты тестировал без подписки?
21.11.2017 09:24:00, fabian.]]> http://proxmox.su/forum/messages/forum63/message337226/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337226/79343-problemy-s-openvswitch Tue, 21 Nov 2017 09:24:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Просто оставляю это здесь для других. Установили Proxmox 5, обновились до 5.1 и ждали, пока клиент подпишет документы, чтобы мы могли активировать подписку. Тем временем добавили репозиторий «non-subscription» для обновления системы. После установки openvswitch и настройки всё работало, но сеть не запускалась при загрузке. Подписались на систему, а затем просто выполнили 'apt-get update; apt-get -y dist-upgrade' — обновились разные пакеты, и openvswitch заработал идеально. Вот содержимое нашего файла конфигурации /etc/network/interfaces:

Code:
auto lo
iface lo inet loopback

allow-vmbr0 bond0
iface bond0 inet manual
ovs_bridge vmbr0
ovs_type OVSBond
ovs_bonds eth0 eth1
pre-up ( ifconfig eth0 mtu 9000 && ifconfig eth1 mtu 9000 )
ovs_options bond_mode=active-backup tag=1 vlan_mode=native-untagged
mtu 9000

auto vmbr0
allow-ovs vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports bond0 vlan1
mtu 9000

allow-vmbr0 vlan1
iface vlan1 inet static
ovs_type OVSIntPort
ovs_bridge vmbr0
ovs_options tag=1
ovs_extra set interface ${IFACE} external-ids:iface-id=$(hostname -s)-${IFACE}-vif
address 192.168.1.26
netmask 255.255.255.0
gateway 192.168.1.1
mtu 1500

auto eth2
iface eth2 inet manual

auto eth3
iface eth3 inet manual

PS: В Proxmox без подписки нет пакета net-tools (с ‘ifconfig’). Замена 'ifconfig ethX mtu 9000' на 'ip link set ethX mtu 9000' или вообще отказ от увеличения MTU не меняет ситуацию.
PS: Не знаю, баг это или нет, но если добавить больше двух интерфейсов в bond с режимом active-backup, по крайней мере при использовании linux bridge, режим меняется на round-robin!
21.11.2017 09:04:00, David Herselman.]]> http://proxmox.su/forum/messages/forum63/message337225/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337225/79343-problemy-s-openvswitch Tue, 21 Nov 2017 09:04:00 +0300 Proxmox Виртуальная Среда Проблемы с Openvswitch Проблемы с Openvswitch Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, я пытаюсь настроить vswitch на своем кластере из 4 узлов. Мне удалось сделать мост на узле 1, но когда я применяю ту же конфигурацию к остальным узлам, они а) после перезагрузки ломаются и, похоже, не поднимаются, и б) выдают ошибку при выполнении /etc/init.d/networking restart. Причём, несмотря на это, когда интерфейсы были активны, они могли пинговать друг друга и имели доступ в интернет. Также, когда они могли пинговать, кластер ломался, и я не мог получить к нему доступ через веб-портал. Ниже приведены файлы /etc/network/interfaces для узла 1 (работающий) и узла 2 (остальные практически идентичны, за исключением разных IP-адресов).
03.10.2017 03:18:00, igurvich.]]> http://proxmox.su/forum/messages/forum63/message337224/79343-problemy-s-openvswitch http://proxmox.su/forum/messages/forum63/message337224/79343-problemy-s-openvswitch Tue, 03 Oct 2017 03:18:00 +0300 Proxmox Виртуальная Среда