Привет! Сейчас я пытаюсь настроить вторую зону openfabric. У меня запущен кластер PVE из трех узлов. Я настроил ceph с полностью маршрутизируемой сетевой топологией согласно официальному руководству. Пока все отлично, всё работает без сбоев. У каждого из моих трех узлов по две дополнительные 10G NIC, которые я хочу использовать для кластерной сети и сети миграции. Сейчас я пробую такую конфигурацию:
Код:
frr defaults traditional
hostname vm003
log syslog warning
ip forwarding
no ipv6 forwarding
service integrated-vtysh-config
!
interface lo
ip address 10.254.120.52/32
ip router openfabric 1
openfabric passive
!
interface lo:10 <- новый дополнительный loopback
ip router openfabric 2
openfabric passive
!
interface eno1np0
ip router openfabric 1
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface eno2np1
ip router openfabric 1
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface ens8f0np0 <- НОВЫЙ дополнительный 10G интерфейс
ip router openfabric 2
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface ens8f1np1 <- НОВЫЙ дополнительный 10G интерфейс
ip router openfabric 2
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
line vty
!
router openfabric 1
net 49.0001.3333.3333.3333.00
lsp-gen-interval 1
max-lsp-lifetime 600
lsp-refresh-interval 180
!
router openfabric 2 <- НОВЫЙ дополнительный роутер
net 49.0002.3333.3333.3333.00
lsp-gen-interval 1
max-lsp-lifetime 600
lsp-refresh-interval 180
!
Конфигурация на всех трех узлах одинаковая, кроме hostname, сетей роутеров и адреса loopback. Я пытался настроить loopback в /etc/network/interfaces вот так, потому что когда настраиваю его в конфиге frr, он не привязывается к новому роутеру openfabric. Но оба способа приводят к одному и тому же результату — lo:10 не привязывается к новому роутеру openfabric:
Код:
auto lo
iface lo inet loopback
auto lo:10
iface lo:10 inet static
address 10.254.121.52/32
auto ens4f0np0
iface ens4f0np0 inet manual
auto eno1np0 <- первый openfabric
iface eno1np0 inet manual
mtu 9000
auto eno2np1 <- первый openfabric
iface eno2np1 inet manual
mtu 9000
auto ens4f1np1
iface ens4f1np1 inet manual
auto ens8f0np0 <- второй openfabric
iface ens8f0np0 inet manual
mtu 9000
auto ens8f1np1 <- второй openfabric
iface ens8f1np1 inet manual
mtu 9000
auto bond0
iface bond0 inet manual
bond-slaves ens4f0np0 ens4f1np1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3
auto vmbr0
iface vmbr0 inet manual
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
post-up devlink dev eswitch set pci/0000:af:00.0 mode switchdev
post-up devlink dev eswitch set pci/0000:af:00.1 mode switchdev
auto mgmt
iface mgmt inet static
address 10.XXX.99.77/24
gateway 10.XXX.99.1
vlan-id 99
vlan-raw-device vmbr0
post-up /usr/bin/systemctl restart frr.service
source /etc/network/interfaces.d/*
Показываю интерфейсы openfabric:
Код:
vm003# show openfabric interface
Area 1:
Interface CircId State Type Level
lo 0x0 Up loopback L2
eno1np0 0x0 Up p2p L2
eno2np1 0x0 Up p2p L2
Area 2:
Interface CircId State Type Level
ens8f0np0 0x0 Up p2p L2
ens8f1np1 0x0 Up p2p L2
vm003#
Здесь совсем очевидно, что новый интерфейс с IP не присоединён ко второму роутеру openfabric. Есть ли способ настроить второй loopback, который будет работать в маршрутизируемой сети?
Спасибо за помощь!
Код:
frr defaults traditional
hostname vm003
log syslog warning
ip forwarding
no ipv6 forwarding
service integrated-vtysh-config
!
interface lo
ip address 10.254.120.52/32
ip router openfabric 1
openfabric passive
!
interface lo:10 <- новый дополнительный loopback
ip router openfabric 2
openfabric passive
!
interface eno1np0
ip router openfabric 1
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface eno2np1
ip router openfabric 1
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface ens8f0np0 <- НОВЫЙ дополнительный 10G интерфейс
ip router openfabric 2
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
interface ens8f1np1 <- НОВЫЙ дополнительный 10G интерфейс
ip router openfabric 2
openfabric csnp-interval 2
openfabric hello-interval 1
openfabric hello-multiplier 2
!
line vty
!
router openfabric 1
net 49.0001.3333.3333.3333.00
lsp-gen-interval 1
max-lsp-lifetime 600
lsp-refresh-interval 180
!
router openfabric 2 <- НОВЫЙ дополнительный роутер
net 49.0002.3333.3333.3333.00
lsp-gen-interval 1
max-lsp-lifetime 600
lsp-refresh-interval 180
!
Конфигурация на всех трех узлах одинаковая, кроме hostname, сетей роутеров и адреса loopback. Я пытался настроить loopback в /etc/network/interfaces вот так, потому что когда настраиваю его в конфиге frr, он не привязывается к новому роутеру openfabric. Но оба способа приводят к одному и тому же результату — lo:10 не привязывается к новому роутеру openfabric:
Код:
auto lo
iface lo inet loopback
auto lo:10
iface lo:10 inet static
address 10.254.121.52/32
auto ens4f0np0
iface ens4f0np0 inet manual
auto eno1np0 <- первый openfabric
iface eno1np0 inet manual
mtu 9000
auto eno2np1 <- первый openfabric
iface eno2np1 inet manual
mtu 9000
auto ens4f1np1
iface ens4f1np1 inet manual
auto ens8f0np0 <- второй openfabric
iface ens8f0np0 inet manual
mtu 9000
auto ens8f1np1 <- второй openfabric
iface ens8f1np1 inet manual
mtu 9000
auto bond0
iface bond0 inet manual
bond-slaves ens4f0np0 ens4f1np1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3
auto vmbr0
iface vmbr0 inet manual
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
post-up devlink dev eswitch set pci/0000:af:00.0 mode switchdev
post-up devlink dev eswitch set pci/0000:af:00.1 mode switchdev
auto mgmt
iface mgmt inet static
address 10.XXX.99.77/24
gateway 10.XXX.99.1
vlan-id 99
vlan-raw-device vmbr0
post-up /usr/bin/systemctl restart frr.service
source /etc/network/interfaces.d/*
Показываю интерфейсы openfabric:
Код:
vm003# show openfabric interface
Area 1:
Interface CircId State Type Level
lo 0x0 Up loopback L2
eno1np0 0x0 Up p2p L2
eno2np1 0x0 Up p2p L2
Area 2:
Interface CircId State Type Level
ens8f0np0 0x0 Up p2p L2
ens8f1np1 0x0 Up p2p L2
vm003#
Здесь совсем очевидно, что новый интерфейс с IP не присоединён ко второму роутеру openfabric. Есть ли способ настроить второй loopback, который будет работать в маршрутизируемой сети?
Спасибо за помощь!
