Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster, Proxmox Виртуальная Среда
     
    l-koeln
    Guest
    #1
    0
    24.07.2023 16:58:00
    Привет! У меня проблема с моим кластером Proxmox на Intel Nuc. В кластере 3 Intel Nuc 13 Pro, которые используют по 2 порта Thunderbolt для создания кольцевой сети для связи Ceph. Proxmox/Ceph – Полноценный Mesh HCI кластер с динамической маршрутизацией.

    Для обработки сетевого маршрутизации я использую FRR и OSPF. Чтобы включить Thunderbolt-порты как сетевые интерфейсы, я загрузил модули ядра "thunderbolt" и "thunderbolt-net" в "/etc/modules" и переименовал интерфейсы с "thunderbolt0" / "thunderbolt1" в "en05" / "en06", чтобы они отображались в GUI Proxmox.

    Подключение 2-х хостов через Thunderbolt 3  
    Для этого я создал 2 файла в "/etc/systemd/network/": "10-thunderbolt0.link" и "10-thunderbolt1.link".  
    пример: 10-thunderbolt0.link  
    Код:
    [Match]
    Path=pci-0000:00:0d.2  
    Driver=thunderbolt-net  
    [Link]
    MACAddressPolicy=none  
    MACAddress=02:89:12:b5:35:cf  
    Name=en05  

    В целом работает! Сеть с гигабитной скоростью 10G, запись на nvme Ceph-хранилище очень быстрая, и миграция ВМ на другой узел проходит отлично.  

    НО!  
    Проблема: каждый раз после перезагрузки узла (на всех наблюдается одинаковое поведение) сетевые интерфейсы en05 и en06 (то есть Thunderbolt-порты) остаются выключенными.  
    Код:  
    5: en05: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000  
       link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff  
    6: en06: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000  
       link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff  

    Я подумал, что команды "ip link set en05 up" и "ip link set en06 up" при старте решат проблему, но нет.  
    Код:  
    5: en05: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000  
       link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff  
       inet6 fe80::bf:2fff:fecf:19a1/64 scope link  
          valid_lft forever preferred_lft forever  
    6: en06: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000  
       link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff  

    Оказалось, что важно, в каком порядке ты поднимаешь интерфейсы на каждом узле:  
    Код:  
    Работает!  
    на Nuc1:                       ------->               на Nuc2:  
    ip link set en05 up                                ip link set en06 up  

    Не работает:  
    на Nuc1:                        ------->               на Nuc2:  
    ip link set en06 up                                 ip link set en05 up  

    Такое поведение у всех узлов!  

    Но это ещё не всё, чтобы фактически установить tcp-соединение или пропинговать другой узел, после каждой перезагрузки мне приходится менять IP-адреса en05/en06, перезапускать службу сети (и потом возвращать обратно исходные адреса).  
    Код:  
    systemctl restart networking.service  

    После этого всё работает нормально, как задумано.  

    Я не понимаю, в чём тут причина, случайно обнаружил, что это действие "решает" проблему.  
    Кто-нибудь знает, почему приходится заново назначать IP-адреса для связи через "en05" и "en06"?  

    Документация  
    Версия Proxmox: 8.0.3  
    Версия FRR: 8.4.2  

     

    Код:  
    #Конфигурация FRR, router ID разный на каждом устройстве  

    ip forwarding  
    !  
    router ospf  
    ospf router-id 0.0.0.1  
    log-adjacency-changes  
    exit  
    !  
    interface lo  
    ip ospf area 0  
    exit  
    !  
    interface en05  
    ip ospf area 0  
    ip ospf network point-to-point  
    exit  
    !  
    interface en06  
    ip ospf area 0  
    ip ospf network point-to-point  
    exit  
    !
     
     
     
    scyto
    Guest
    #2
    0
    08.08.2023 02:29:00
    Привет! Сейчас я исследую использование NUC и Proxmox и нашёл твою статью очень полезной. 1. Пробовал ли ты использовать IPv6, как в статье, на которую ты ссылался, вместо IPv4 на Thunderbolt-соединениях? Там много преимуществ, ведь адреса IPv6 по своей природе динамические. 2. Рассматривал ли ты вариант, чтобы сетевой сервис запускался только после того, как все Thunderbolt-сервисы уже запущены? Мне кажется, что порядок запуска может быть причиной проблем при загрузке (у меня сейчас в кластере используется glusterfs, и я уже сталкивался с подобными вопросами).
     
     
     
    scyto
    Guest
    #3
    0
    11.08.2023 23:01:00
    Хорошо, я теперь установил Proxmox и знаю на 10 минут больше, чем в прошлый раз.

    1. Зачем вообще назначать IP какому-либо интерфейсу thunderbolt, если их можно просто подключить к новому бриджу? (спрашиваю, потому что не знаю)

    2. Обратил внимание, что имена thunderbolt0 и thunderbolt1 не всегда соответствуют одним и тем же устройствам thunderbolt: например, `/devices/pci0000:00/0000:00:0d.2/domain0/0-0/0-1/0-1.0/net/` может быть либо thunderbolt1, либо thunderbolt0 — кажется, номер зависит от порядка подключения кабелей.

    3. MAC-адреса у устройств интерфейсов не фиксированы, поэтому на них, возможно, нельзя полагаться для надежного сопоставления в этом файле ссылок (если он действительно для этого и служит). Хотя не уверен, что это важно, мне просто интересно, сколько всего там динамического.

    4. Ещё заметил, что на уровне udev атрибуты `ATTR{ifindex}` и `ATTR{iflink}` тоже динамические.

    Наконец, вы пытались использовать этот старый способ переименования? У меня получилось заставить его работать для одного интерфейса, но не одновременно для двух — и я никак не могу понять почему: https://www.shellhacks.com/change-network-interface-name-eth0-eth1-eth2/

    # PCI Thunderbolt 0  
    SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?",ATTR{address}=="00:00:00:00:00:00",ATTR{dev_id}=="0x0",ATTR{type}=="1",KERNEL=="thunderbolt0", NAME="eth5"  

    # PCI device thunderbolt1  
    SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?",ATTR{address}=="00:00:00:00:00:00",ATTR{dev_id}=="0x0",ATTR{type}=="1",KERNEL=="thunderbolt1", NAME="eth6"
     
     
     
    scyto
    Guest
    #4
    0
    12.08.2023 02:42:00
    Хорошо, могу подтвердить, точно такие же проблемы на ProxMox v8. Я пытался использовать это решение для запуска интерфейса, но с переименованными именами en05 и en06 — не работает, не знаю почему. https://forum.proxmox.com/threads/thunderbolt-networking.130930/post-579521
     
     
     
    ualex
    Guest
    #5
    0
    12.08.2023 07:34:00
    В правиле udev нужно использовать thunderbolt0/thunderbolt1, а в скрипте — en05/en06. Вот это и сбивает немного с толку.
     
     
     
    scyto
    Guest
    #6
    0
    12.08.2023 07:46:00
    Окей, кажется, у меня теперь всё работает. Я нашёл немного другой подход... Мои файлы link выглядят так:

    Код: /etc/systemd/network/00-thunderbolt0.link  
    [Match]
    Path=pci-0000:00:0d.2  
    Driver=thunderbolt-net  
    [Link]
    MACAddressPolicy=none  
    Name=en05

    /etc/systemd/network/00-thunderbolt1.link  
    [Match]
    Path=pci-0000:00:0d.3  
    Driver=thunderbolt-net  
    [Link]
    MACAddressPolicy=none  
    Name=en06

    Мой файл правила udev выглядит так:

    Код: /etc/udev/rules.d/10-tb-en.rule  
    ACTION=="move", SUBSYSTEM=="net", KERNEL=="en05", RUN+="/usr/local/bin/pve-en05.sh"  
    ACTION=="move", SUBSYSTEM=="net", KERNEL=="en06", RUN+="/usr/local/bin/pve-en06.sh"

    Похоже, работает отлично! Мне нравится такой способ, потому что имена интерфейсов остаются постоянными, но, честно говоря, это не так важно, lol — больше просто было интересно сегодня вечером разбираться с udev. Я выбрал команду move, основываясь на выводе `udev monitor` (до этого я вообще в жизни на это не смотрел), а там, в конце последовательности настройки переименованной сети, действительно стоит команда move. И я проверил, что имя ядра действительно меняется файлом link.

    Мой IPv6 OSPF тоже работает, я опубликую свой подход в этом gist, но сейчас уже поздно и пора спать, да и писать gist последний час уже надоело, lol.

    Это мой первый опыт с Proxmox — ещё нужно установить Ceph и с ним поиграться! Без вашей подсказки я бы точно не справился. Огромное-преогромное спасибо!
     
     
     
    scyto
    Guest
    #7
    0
    12.08.2023 18:45:00
    Хм, сообщение с прошлой ночи ждет модерации. Тем временем вот мой рабочий gist, который отражает то, что я сделал вчера. Его буду обновлять в ближайшие дни/неделю, по мере того как выполню все пункты из списка дел в конце. Этот gist для тех, кто случайно наткнется на эту тему (особенно для тех, кто, как и я, только начинает работать с Proxmox). Для меня это своего рода самодокументация, чтобы не забыть, чему научился. https://gist.github.com/scyto/76e94832927a89d977ea989da157e9dc
     
     
     
    ualex
    Guest
    #8
    0
    12.08.2023 19:00:00
    @scyto, спасибо за подробный ответ. Я получил твоё сообщение частично в уведомлении на почту, но ссылка гораздо удобнее.
     
     
     
    scyto
    Guest
    #9
    0
    16.08.2023 03:07:00
    Я провёл несколько дней, бьюсь головой о стену.  

    1. Как бы я ни настраивал интерфейсы Thunderbolt (en05 и en06), что-то блокирует почти все порты, кроме 8006 — отключал фаервол, это не помогло. Включал фаервол и ставил default in и default out в ACCEPT — тоже без результата. Эта проблема блокирует работу SSH, CEPH по IPv6 (и, уверен, ещё много чего).  

    2. Пробовал FRR OSPF маршрутизацию для IPv6 — работало (пинг проходил), но из-за проблемы №1 это было бесполезно, пока не исправлю её. IPv4 не пробовал, это следующая задача, так как fabricd (ниже) с IPv4 не справился.  

    3. Пробовал FRR fabricd для IPv6 и IPv4 — для IPv6 сработало (ноды пинговали друг друга), а вот с IPv4 полный провал, потому что не создавались маршруты по умолчанию (пинг по IPv6 был, по IPv4 — нет). К тому же появилась проблема №1 и здесь. Это ещё хуже, чем проблема №2. Кстати, с fabricd после переименования адаптеров сервис FRR нужно перезапускать, чтобы всё работало (с FRR OSPF такого не было).  

    4. Пробовал статическую конфигурацию прямо на en05 и en06 для IPv6 — столкнулся с той же проблемой №1.  

    Пробовал разные комбинации настроек фаервола. Всё это на PVE8 — начинаю думать, что в этом релизе есть какие-то фундаментальные баги, а не просто я что-то делаю не так. Мне интересно, стоит ли попробовать последнюю сборку 7.x?  

    (Ах да, наконец понял, почему иногда для работы нужно, чтобы thunderbolt и thunderbolt-net были в /etc/modules, а иногда нет. Всё просто: если их нет ни на одной ноде, сеть Thunderbolt не стартует. Если они есть хотя бы на одной ноде, и эта нода поднимается первой, то сеть запускается нормально и на остальных нодах. Короче, лучше прописать эти модули в /etc/modules на всех нодах, чтобы не гадать. На мой взгляд, это баг.)
     
     
     
    ualex
    Guest
    #10
    0
    16.08.2023 17:31:00
    1. Странно, у меня на Proxmox 8 всё работает нормально, когда в файле "/etc/firewall/cluster.fw" есть такое правило:  
    Code: IN ACCEPT -i thunderbolt0 -p tcp -log nolog  
    На остальные варианты не могу ничего сказать, у меня только IPv4 и нет кольцевого кластера (всего 2 узла).
     
     
     
    scyto
    Guest
    #11
    0
    16.08.2023 17:36:00
    Спасибо, ты обновлялся с Windows 7 или делал чистую установку Windows 8?
     
     
     
    ualex
    Guest
    #12
    0
    16.08.2023 17:38:00
    Свежая установка. Я прямо установил Proxmox 8 на свой NUC13i3.
     
     
     
    scyto
    Guest
    #13
    0
    16.08.2023 18:15:00
    Интересно, что я упускаю или делаю не так. Я отключил брандмауэр (чтобы было понятно, он всё ещё запущен). Iptables показывает, что на всех портах и интерфейсах стоит разрешающий режим. Я сменил политику по умолчанию для входящих и исходящих соединений на accept. Что меня сбивает с толку — веб-порт нормально работает на Thunderbolt-интерфейсах, а вот порты ssh и ceph не отвечают. Ты когда-нибудь запускал FRR или просто использовал IP напрямую на интерфейсе? И прописывал ли ты это в файле interfaces и/или в link файлах?
     
     
     
    ualex
    Guest
    #14
    0
    16.08.2023 18:36:00
    Фаервол/iptables в Proxmox немного странный, поэтому лучше явно добавить правило, разрешающее всё на thunderbolt0/1/en05/en06. Учтите, что порт 8006 разрешён по умолчанию, так что он всегда работает (ssh должен работать только в той же подсети OAM, что и ваша первая сетевая карта. Поэтому по умолчанию thunderbolt не будет работать). Я использую прямые IP-адреса с правилами udev — активирую сетевую карту и назначаю IP. Через "/etc/interfaces" просто не работает. Переименовывать их пока не стал, потому что не хочу, чтобы они были видны в GUI. Если получится на этой неделе, попробую FRR (мои NUC сейчас только для тестов, переустановка занимает 10 минут ;-)).
     
     
     
    scyto
    Guest
    #15
    0
    18.08.2023 07:56:00
    Окей, сегодня провёл ещё тесты. Новые интерфейсы enp87s0 на каждом NUC работают с IPv6 без проблем. (Intel NUCIOALUWS — отличный способ добавить ещё один порт!) Это значит, что с IPv6 на интерфейсах Thunderbolt полный провал (неважно, оставят ли им оригинальные имена или переименуют). Пока неясно, проблема в Proxmox или в самой Debian. Выход: перестать пытаться использовать IPv6 и перейти на IPv4... наверное ;-)
     
     
     
    ualex
    Guest
    #16
    0
    18.08.2023 08:56:00
    Да, Intel-дополнение — классная карта, у меня она тоже стоит в моём NUC13. Думаю, проблема кроется глубже: Proxmox использует стандартный Debian iptables и их ядро (на базе Ubuntu). Если будет время, попробуй поставить чистый Debian на оба узла и проверить, работает ли там или нет. Если работает, можешь сообщить об этом ребятам из Proxmox.
     
     
     
    scyto
    Guest
    #17
    0
    18.08.2023 09:02:00
    Я всё ещё пытаюсь разобраться с iptables в целом, но если это мой набор правил для ip6tables, то кажется, что ip6tables ничего не блокирует, потому что политика по умолчанию — ACCEPT для всего (мой обычный iptables выглядит так же). Согласен, что следующий шаг — попробовать воспроизвести проблему на Debian. Что кажется утомительным, LOL.  

    Код:  
    root@pve2:~# ip6tables -L -n -v  
    Chain INPUT (policy ACCEPT 34 packets, 5296 bytes)  
    pkts bytes target     prot opt in     out     source               destination      

    Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)  
    pkts bytes target     prot opt in     out     source               destination      

    Chain OUTPUT (policy ACCEPT 19 packets, 4164 bytes)  
    pkts bytes target     prot opt in     out     source               destination
     
     
     
    ualex
    Guest
    #18
    0
    18.08.2023 10:28:00
    Ваши iptables должны пропускать всё для IPv6, возможно, это баг в драйвере thunderbolt.
     
     
     
    scyto
    Guest
    #19
    0
    18.08.2023 21:05:00
    Да, согласен, немного беспокоит, что никто из Proxmox, похоже, не хочет отвечать на мои сообщения (думаю, их просто заливает из-за разницы во времени). Это заставляет меня задуматься, стоит ли вообще использовать Proxmox, если часовой пояс и время публикации — такая проблема :-( К тому же Discord и Reddit оказались малоэффективными... Я точно не собираюсь тестировать на чистом Debian, пока не увижу, что кто-то из Proxmox действительно волнуется и следит за происходящим (иначе это будет просто безнадёжная борьба с ветряными мельницами). Как у тебя с этим опыт — получается ли получать помощь от других?
     
     
     
    ualex
    Guest
    #20
    0
    18.08.2023 21:55:00
    @scyto В данный момент самая полезная информация, которую я получаю, приходит от l-koeln и от тебя... Также попытки погуглить thunderbolt-net — это настоящая миссия невыполнимая, я не смог найти ничего полезного.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры