http://proxmox.su Новое в теме [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 20 Apr 2026 19:47:14 +0300 [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Алвин! Транковый кабель между двумя коммутаторами был той самой недостающей деталью. После подключения коммутаторов резервирование заработало отлично. Большое спасибо за твою помощь! С наилучшими пожеланиями, Марио Минати
24.07.2018 18:00:00, Mario Minati.]]> http://proxmox.su/forum/messages/forum63/message336948/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336948/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Tue, 24 Jul 2018 18:00:00 +0300 Proxmox Виртуальная Среда [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не через GUI. В active-backup, если один из линков выходит из строя, он заменяется одним из других слейвов в бонде. Но это происходит только в том бонде, где случился сбой. Весь остальной сетевой трафик остается нетронутым. Это значит, что ваша сеть должна уметь маршрутизировать трафик к каждому интерфейсу на других узлах. Если у вас два коммутатора, их нужно соединить через транк.

https://www.kernel.org/doc/Documentation/networking/bonding.txt

Вы же не хотите засорять сеть лишним трафиком.

Сценарии с active-backup бондом:

- Один коммутатор падает — все подключённые бонды переключаются на оставшийся подключённый слейв (весь трафик идет через другой коммутатор).
- Линк одного порта NIC в бонде выходит из строя — бонд переключается на оставшийся подключённый слейв (трафик идёт через оба коммутатора).
- NIC выходит из строя — если в бонде есть два разных NIC, он переключится, иначе узел теряет связь.
23.07.2018 16:58:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message336947/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336947/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Mon, 23 Jul 2018 16:58:00 +0300 Proxmox Виртуальная Среда [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Альвин, спасибо за быстрый ответ. Я в курсе, можно вручную задать основной интерфейс в /etc/network/interfaces, его не настроить через GUI, верно? Но у меня всё ещё возникают проблемы с пониманием active-backup bonding, несмотря на то что я несколько раз перечитал документацию по bonding: если, например, отключить на переключателе node01 ceph cluster или ceph public network, пинг прекращается и не восстанавливается даже спустя какое-то время. Я считал, что в режиме active-backup соединение должно восстанавливаться автоматически, так? Поскольку мы используем раздельные коммутаторы для обеих сетей (физическое разделение), нужно ли, чтобы все узлы сети переключались на другую сеть? Иначе отключённый (на одном из двух bonding-портов) узел не будет получать пакеты из той сети, от которой он отсоединён, правильно? Может, конфигурация с active-backup bonding у нас в случае не совсем корректна? Нужно ли переключиться на broadcast? Извиняюсь за кучу вопросов, просто глубоко в bonding-сетях я пока не разбираюсь… Надеюсь, сможешь просветить и помочь нам сделать по-настоящему отказоустойчивую настройку. С наилучшими пожеланиями, Марио Минати.
23.07.2018 14:55:00, Mario Minati.]]> http://proxmox.su/forum/messages/forum63/message336946/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336946/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Mon, 23 Jul 2018 14:55:00 +0300 Proxmox Виртуальная Среда [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Состояние бонда можно посмотреть в '/proc/net/bonding/bondX'. Во-вторых, возможно, стоит задать основной подчинённый интерфейс, чтобы бонд переключался обратно, когда этот интерфейс снова становится активным. https://wiki.linuxfoundation.org/networking/bonding И, наконец, проверьте сетевые настройки для каждого интерфейса, чтобы учесть все возможные сценарии. Проблемы с маршрутизацией?
23.07.2018 09:52:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message336945/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336945/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Mon, 23 Jul 2018 09:52:00 +0300 Proxmox Виртуальная Среда [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @Alwin, привет всем! Мы настроили оборудование согласно нашим планам (схема сети во вложении) и столкнулись с проблемой при тестировании bonded-интерфейсов. Когда запускаем ping с одного узла Proxmox на другой по bonded-интерфейсу и выдергиваем кабель из одного из двух NIC, ping не восстанавливается. Даже если снова подключить кабель, ping не возобновляется. После повторного подключения кабеля к NIC1 нам приходится отключать NIC2, чтобы команда ping начала получать ответы. Мы заметили такое же поведение, если смотрим состояние кворума Ceph сети через веб-интерфейс Proxmox и отключаем один из двух bonded NIC внутренней Ceph сети. Что может быть не так с нашей конфигурацией? Ниже конфигурация сети трёх узлов.

#
# pub-ceph-node-01
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.11
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.11
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.11
netmask 255.255.255.0 #sync2.pub.intranet

iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet
iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual

auto bond0
iface bond0 inet static
address 10.246.21.11
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.11
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

#
# pub-ceph-node-02
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.12
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.12
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.12
netmask 255.255.255.0 #sync2.pub.intranet

iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual
iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet

auto bond0
iface bond0 inet static
address 10.246.21.12
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.12
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

#
# pub-ceph-node-03
#
auto lo
iface lo inet loopback

auto enp66s0f1
iface enp66s0f1 inet static
address 10.247.11.13
netmask 255.255.0.0
gateway 10.247.1.1 #man.pub.intranet

auto eno1
iface eno1 inet static
address 10.246.11.13
netmask 255.255.255.0 #sync1.pub.intranet

auto eno2
iface eno2 inet static
address 10.246.12.13
netmask 255.255.255.0 #sync2.pub.intranet

iface enp8s0f0 inet manual #san1.pub.intranet
iface enp8s0f1 inet manual #ceph1.pub.intranet
iface enp65s0f0 inet manual #san2.pub.intranet
iface enp65s0f1 inet manual #ceph2.pub.intranet
iface enp66s0f0 inet manual

auto bond0
iface bond0 inet static
address 10.246.21.13
netmask 255.255.255.0
slaves enp65s0f0 enp8s0f0
bond_miimon 100
bond_mode active-backup #san.pub.intranet

auto bond1
iface bond1 inet static
address 10.246.31.13
netmask 255.255.255.0
slaves enp65s0f1 enp8s0f1
bond_miimon 100
bond_mode active-backup #ceph.pub.intranet

Буду очень признателен за любые советы, куда копать. Всего доброго, Марио.
20.07.2018 19:21:00, Mario Minati.]]> http://proxmox.su/forum/messages/forum63/message336944/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336944/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Fri, 20 Jul 2018 19:21:00 +0300 Proxmox Виртуальная Среда [РЕШЕНО] Нужна помощь с настройкой избыточной сети для Proxmox Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Мы новички в Proxmox. Сейчас используем Univention Corporate Server, чтобы виртуализировать 15 машин на 3 физических серверах. У нас нет общего хранилища и высокой доступности. Поэтому мы хотим сделать кластер Proxmox из 5 физических машин: 3 идентично настроенные для Ceph и 2 для виртуализации. Мы много читали на форуме, в вики и документации и думаем, что набрались достаточно знаний, чтобы начать настройку.

Хотим спросить, подходит ли наша сетевая конфигурация для целей высокой доступности и отказоустойчивости. В приложении диаграмма нашей сети:

- 2 отдельные сети 1 GBE для Corosync ring 0 и ring 1 с разными коммутаторами, одну из этих сетей используем для управления (внешний доступ к веб-интерфейсам Proxmox и Lights Out Management)
- 2 отдельные сети 10 GBE как публичные сети Ceph с разными коммутаторами и использованием агрегации каналов (bonding)
- 2 отдельные сети 10 GBE как кластерные сети Ceph с разными коммутаторами и использованием агрегации каналов (bonding)
- 1 отдельная сеть 1 GBE для доступа к виртуальным машинам из внешней сети (DMZ / Intranet)

Вопросы:

- Подходит ли это для отказоустойчивости?
- Обеспечит ли такая схема хорошую производительность?
- Хорош ли выбранный режим bond_mode (balance_rr) для использования с разными коммутаторами, чтобы добиться хорошей производительности?

Спасибо за советы!  
С уважением, Марио Минати
12.06.2018 00:45:00, Mario Minati.]]> http://proxmox.su/forum/messages/forum63/message336943/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph http://proxmox.su/forum/messages/forum63/message336943/79314-resheno_-nuzhna-pomoshch-s-nastroykoy-izbytochnoy-seti-dlya-proxmox-ceph Tue, 12 Jun 2018 00:45:00 +0300 Proxmox Виртуальная Среда