Привет! У меня проблема с моим кластером Proxmox на Intel Nuc. В кластере 3 Intel Nuc 13 Pro, которые используют по 2 порта Thunderbolt для создания кольцевой сети для связи Ceph. Proxmox/Ceph – Полноценный Mesh HCI кластер с динамической маршрутизацией.
Для обработки сетевого маршрутизации я использую FRR и OSPF. Чтобы включить Thunderbolt-порты как сетевые интерфейсы, я загрузил модули ядра "thunderbolt" и "thunderbolt-net" в "/etc/modules" и переименовал интерфейсы с "thunderbolt0" / "thunderbolt1" в "en05" / "en06", чтобы они отображались в GUI Proxmox.
Подключение 2-х хостов через Thunderbolt 3
Для этого я создал 2 файла в "/etc/systemd/network/": "10-thunderbolt0.link" и "10-thunderbolt1.link".
пример: 10-thunderbolt0.link
Код:
[Match]
Path=pci-0000:00:0d.2
Driver=thunderbolt-net
[Link]
MACAddressPolicy=none
MACAddress=02:89:12:b5:35:cf
Name=en05
В целом работает! Сеть с гигабитной скоростью 10G, запись на nvme Ceph-хранилище очень быстрая, и миграция ВМ на другой узел проходит отлично.
НО!
Проблема: каждый раз после перезагрузки узла (на всех наблюдается одинаковое поведение) сетевые интерфейсы en05 и en06 (то есть Thunderbolt-порты) остаются выключенными.
Код:
5: en05: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff
6: en06: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff
Я подумал, что команды "ip link set en05 up" и "ip link set en06 up" при старте решат проблему, но нет.
Код:
5: en05: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff
inet6 fe80::bf:2fff:fecf:19a1/64 scope link
valid_lft forever preferred_lft forever
6: en06: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000
link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff
Оказалось, что важно, в каком порядке ты поднимаешь интерфейсы на каждом узле:
Код:
Работает!
на Nuc1: -------> на Nuc2:
ip link set en05 up ip link set en06 up
Не работает:
на Nuc1: -------> на Nuc2:
ip link set en06 up ip link set en05 up
Такое поведение у всех узлов!
Но это ещё не всё, чтобы фактически установить tcp-соединение или пропинговать другой узел, после каждой перезагрузки мне приходится менять IP-адреса en05/en06, перезапускать службу сети (и потом возвращать обратно исходные адреса).
Код:
systemctl restart networking.service
После этого всё работает нормально, как задумано.
Я не понимаю, в чём тут причина, случайно обнаружил, что это действие "решает" проблему.
Кто-нибудь знает, почему приходится заново назначать IP-адреса для связи через "en05" и "en06"?
Документация
Версия Proxmox: 8.0.3
Версия FRR: 8.4.2
Код:
#Конфигурация FRR, router ID разный на каждом устройстве
ip forwarding
!
router ospf
ospf router-id 0.0.0.1
log-adjacency-changes
exit
!
interface lo
ip ospf area 0
exit
!
interface en05
ip ospf area 0
ip ospf network point-to-point
exit
!
interface en06
ip ospf area 0
ip ospf network point-to-point
exit
!
Для обработки сетевого маршрутизации я использую FRR и OSPF. Чтобы включить Thunderbolt-порты как сетевые интерфейсы, я загрузил модули ядра "thunderbolt" и "thunderbolt-net" в "/etc/modules" и переименовал интерфейсы с "thunderbolt0" / "thunderbolt1" в "en05" / "en06", чтобы они отображались в GUI Proxmox.
Подключение 2-х хостов через Thunderbolt 3
Для этого я создал 2 файла в "/etc/systemd/network/": "10-thunderbolt0.link" и "10-thunderbolt1.link".
пример: 10-thunderbolt0.link
Код:
[Match]
Path=pci-0000:00:0d.2
Driver=thunderbolt-net
[Link]
MACAddressPolicy=none
MACAddress=02:89:12:b5:35:cf
Name=en05
В целом работает! Сеть с гигабитной скоростью 10G, запись на nvme Ceph-хранилище очень быстрая, и миграция ВМ на другой узел проходит отлично.
НО!
Проблема: каждый раз после перезагрузки узла (на всех наблюдается одинаковое поведение) сетевые интерфейсы en05 и en06 (то есть Thunderbolt-порты) остаются выключенными.
Код:
5: en05: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff
6: en06: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff
Я подумал, что команды "ip link set en05 up" и "ip link set en06 up" при старте решат проблему, но нет.
Код:
5: en05: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff
inet6 fe80::bf:2fff:fecf:19a1/64 scope link
valid_lft forever preferred_lft forever
6: en06: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000
link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff
Оказалось, что важно, в каком порядке ты поднимаешь интерфейсы на каждом узле:
Код:
Работает!
на Nuc1: -------> на Nuc2:
ip link set en05 up ip link set en06 up
Не работает:
на Nuc1: -------> на Nuc2:
ip link set en06 up ip link set en05 up
Такое поведение у всех узлов!
Но это ещё не всё, чтобы фактически установить tcp-соединение или пропинговать другой узел, после каждой перезагрузки мне приходится менять IP-адреса en05/en06, перезапускать службу сети (и потом возвращать обратно исходные адреса).
Код:
systemctl restart networking.service
После этого всё работает нормально, как задумано.
Я не понимаю, в чём тут причина, случайно обнаружил, что это действие "решает" проблему.
Кто-нибудь знает, почему приходится заново назначать IP-адреса для связи через "en05" и "en06"?
Документация
Версия Proxmox: 8.0.3
Версия FRR: 8.4.2
Код:
#Конфигурация FRR, router ID разный на каждом устройстве
ip forwarding
!
router ospf
ospf router-id 0.0.0.1
log-adjacency-changes
exit
!
interface lo
ip ospf area 0
exit
!
interface en05
ip ospf area 0
ip ospf network point-to-point
exit
!
interface en06
ip ospf area 0
ip ospf network point-to-point
exit
!

).
К тому же Discord и Reddit оказались малоэффективными... Я точно не собираюсь тестировать на чистом Debian, пока не увижу, что кто-то из Proxmox действительно волнуется и следит за происходящим (иначе это будет просто безнадёжная борьба с ветряными мельницами). Как у тебя с этим опыт — получается ли получать помощь от других?