Привет, @Alwin, привет всем! Мы настроили оборудование согласно нашим планам (схема сети во вложении) и столкнулись с проблемой при тестировании bonded-интерфейсов. Когда запускаем ping с одного узла Proxmox на другой по bonded-интерфейсу и выдергиваем кабель из одного из двух NIC, ping не восстанавливается. Даже если снова подключить кабель, ping не возобновляется. После повторного подключения кабеля к NIC1 нам приходится отключать NIC2, чтобы команда ping начала получать ответы. Мы заметили такое же поведение, если смотрим состояние кворума Ceph сети через веб-интерфейс Proxmox и отключаем один из двух bonded NIC внутренней Ceph сети. Что может быть не так с нашей конфигурацией? Ниже конфигурация сети трёх узлов.

#
# pub-ceph-node-01
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.11
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.11
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.11
netmask 255.255.255.0 #sync2.pub.intranet

iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet
iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual

auto bond0
iface bond0 inet static
address 10.246.21.11
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.11
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

#
# pub-ceph-node-02
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.12
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.12
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.12
netmask 255.255.255.0 #sync2.pub.intranet

iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual
iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet

auto bond0
iface bond0 inet static
address 10.246.21.12
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.12
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

#
# pub-ceph-node-03
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.13
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.13
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.13
netmask 255.255.255.0 #sync2.pub.intranet

iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet
iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual

auto bond0
iface bond0 inet static
address 10.246.21.13
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.13
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

Буду очень признателен за любые советы, куда копать. Всего доброго, Марио.

Привет, Альвин, спасибо за быстрый ответ. Я в курсе, можно вручную задать основной интерфейс в /etc/network/interfaces, его не настроить через GUI, верно? Но у меня всё ещё возникают проблемы с пониманием active-backup bonding, несмотря на то что я несколько раз перечитал документацию по bonding: если, например, отключить на переключателе node01 ceph cluster или ceph public network, пинг прекращается и не восстанавливается даже спустя какое-то время. Я считал, что в режиме active-backup соединение должно восстанавливаться автоматически, так? Поскольку мы используем раздельные коммутаторы для обеих сетей (физическое разделение), нужно ли, чтобы все узлы сети переключались на другую сеть? Иначе отключённый (на одном из двух bonding-портов) узел не будет получать пакеты из той сети, от которой он отсоединён, правильно? Может, конфигурация с active-backup bonding у нас в случае не совсем корректна? Нужно ли переключиться на broadcast? Извиняюсь за кучу вопросов, просто глубоко в bonding-сетях я пока не разбираюсь… Надеюсь, сможешь просветить и помочь нам сделать по-настоящему отказоустойчивую настройку. С наилучшими пожеланиями, Марио Минати.