Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Connect-x 3 ROCe Configuration

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Connect-x 3 ROCe Configuration, Proxmox Виртуальная Среда
     
    sirebral
    Guest
    #1
    0
    14.04.2023 21:23:00
    Всем привет! Я давно ищу пошаговую инструкцию по настройке RoCE на последней версии Proxmox. Использую карты ConnectX-3 с двойным портом и соединительный кабель, поддерживающий InfiniBand и Ethernet нативно, без использования коммутатора. Сеть настроена для Ethernet с обеих сторон, и 40-гигабитные соединения работают отлично, но я хочу использовать возможность пропускать CPU для обмена данными между узлами. Эти общие папки будут использоваться только для файлов, а не для виртуальных машин, там много медиафайлов. После настройки я протестирую NFS 4.2 и SMB, чтобы понять, что лучше работает на моих системах. Поиском в Google я пока ничего толком не нашел, получил инструкции ниже от ChatGPT4, но пока не доверяю AI на 100%, чтобы он был абсолютно точен. Ищу похожую, но проверенную пошаговую инструкцию. После просмотра 50 разных сайтов я нашел 50 разных ответов. Буду очень благодарен за помощь, чтобы не продолжать испортить конфигурации, пытаясь настроить систему по неточным гайдам.

    От ChatGPT4:
    //------- RoCE (RDMA over Converged Ethernet) позволяет эффективно обмениваться данными между узлами в сети, используя Remote Direct Memory Access (RDMA) поверх Ethernet. Для настройки RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора, вам нужно выполнить следующие шаги:

    1. Установите необходимые драйверы:
      - Карты ConnectX-3 требуют установки драйвера `mlx4_en`. Вы можете установить его с помощью следующей команды:
        ```
        apt-get install -y linux-modules-extra-$(uname -r) mlx4_en
        ```
      - Проверьте, что драйвер загружен, с помощью следующей команды:
        ```
        lsmod | grep mlx4_en
        ```

    2. Настройте сетевой интерфейс:
      - Определите сетевой интерфейс, соответствующий карте ConnectX-3, с помощью следующей команды:
        ```
        ip a
        ```
      - Отредактируйте файл конфигурации сетевого интерфейса `/etc/network/interfaces` и добавьте следующие строки для настройки интерфейса:
        ```
        auto enp6s0f0
        iface enp6s0f0 inet static
          address <IP_ADDRESS>
          netmask <NETMASK>
        ```
      - Замените `enp6s0f0` на имя сетевого интерфейса, определенного на предыдущем шаге, и замените `<IP_ADDRESS>` и `<NETMASK>` на желаемый IP-адрес и маску сети для интерфейса.
      - Перезапустите службу сетевых настроек с помощью следующей команды:
        ```
        systemctl restart networking
        ```

    3. Настройте RoCE:
      - Отредактируйте файл конфигурации RoCE `/etc/modprobe.d/mlx4.conf` и добавьте следующую строку:
        ```
        options mlx4_core roce_mode=1
        ```
      - Перезапустите службу `rdma` с помощью следующей команды:
        ```
        systemctl restart rdma
        ```

    4. Проверьте подключение RoCE:
      - Используйте команду `ibstat` для проверки подключения карты ConnectX-3 к сети RoCE:
        ```
        ibstat
        ```
      - В выводе должно отображаться RoCE-интерфейс с допустимым статусом и уровнем канала связи.
      - Используйте команду `ibping` для проверки работоспособности подключения RoCE:
        ```
        ibping -c 10 <IP_ADDRESS>
        ```
      - Замените `<IP_ADDRESS>` на IP-адрес другого узла в сети RoCE. В выводе должны отображаться успешные пинги с низкой задержкой и джиттером.

    Выполнив эти шаги, вы сможете настроить RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора. ------\\

    Заранее спасибо за помощь!
    Keith
     
     
     
    lmiksche
    Guest
    #2
    0
    20.06.2023 14:11:00
    Привет! Как насчет карт ConnectX-3 PRO? Я так понимаю, это всё ещё актуально? Насколько я знаю, стандартные карты поддерживают RoCE, а PRO поддерживает RoCEv2. Какие есть варианты? У меня есть PRO карты, и сейчас я планирую начать использовать RoCE и NVMe/RDMA или TPC. Спасибо.
     
     
     
    alpha754293
    Guest
    #3
    0
    12.09.2024 17:41:00
    Извини за поздний ответ, только что увидел это. В чем проблема или ошибка, когда ты пытаешься запустить IB? Помни, что если ты используешь IB, тебе также нужно запускать OpenSM subnet manager. Если ты уже установил все пакеты IB/rdma (и связанные с ними) и активировал их через modprobe, и тебе удалось назначить интерфейсу хотя бы IPv4-адрес, то хотя бы на одном из двух узлов нужно запустить # systemctl start opensm, а затем ты сможешь запустить # ibstat, чтобы убедиться, что соединение установлено (или просто пинговать друг друга, чтобы проверить, работает ли соединение). Я не знаю, есть ли это на Mellanox ConnectX-3 картах (я бы предположил, что должно быть, но я не на 100% уверен), но на моих Mellanox ConnectX-4 картах, когда соединение установлено, светодиод на плате меняется с янтарного на зеленый, так что тебе, возможно, нужно будет заглянуть сзади системы, чтобы посмотреть, горит ли зеленый индикатор. После этого, если ты хочешь проверить, что IB подключается с ожидаемой скоростью, ты можешь использовать # ib_send_bw для проверки. Я получаю что-то вроде 96.9 Гбит/с (из возможных 100 Гбит/с) на моих Mellanox ConnectX-4 100 Гбит/с IB картах.
     
     
     
    alpha754293
    Guest
    #4
    0
    12.09.2024 18:28:00
    Коротко говоря -- IB работает, если у вас запущен менеджер подсети, но не с RDMA и RoCE (пока что/кажется?). Итак... несколько моментов:

    1) Если вы пытаетесь использовать NFSoRDMA непосредственно на Proxmox-хосте, версия драйвера IB (rdma) в Debian НЕ поддерживает NFSoRDMA "из коробки". Если вы попытаетесь перенести и/или просто использовать процедуру, обычно хорошо определенную для RHEL и/или ее производных (например, теперь несуществующего CentOS), где вы бы выполнили следующее (это из моих заметок по развертыванию CentOS):

    Код:
    host# chkconfig rdma on

    host# vi /etc/sysconfig/nfs

    изменить RPCNFSDARGS= на RPCNFSDARGS="--rdma=20049"

    сохранить, выйти

    host# vi /etc/rdma/rdma.conf

    XPRTRDMA_LOAD=yes
    SVCRDMA_LOAD=yes

    client# vi /etc/rdma/rdma.conf
    XPRTRDMA_LOAD=yes

    host# vi /etc/exports

    /путь/к/экспортируемой/папке *(rw,[options])

    host# service nfslock stop; service nfs stop; service portmap stop; umount /proc/fs/nfsd; service portmap start; service nfs start; service nfslock start

    client# vi /etc/fstab

    server:/путь/к/nfs /mnt/точка_монтирования nfs defaults,rdma,port=20049,[options] 0 0

    Этот фрагмент из моих заметок по развертыванию работает для CentOS, но когда я писал об этом на этом форуме, он не работал для Ubuntu (которая, будучи производной от Debian, также не работала для Proxmox, поскольку он также работает на Debian). (Я нашел эту тему здесь: https://forum.proxmox.com/threads/nfsordma.137623/ , так что это может быть полезно для вас. Хотя я еще не пробовал эти инструкции дома.)

    Коротко говоря -- кроме последней ссылки (которой я еще не тестировал) -- мне не удалось заставить NFSoRDMA работать напрямую на Debian-based Proxmox-хосте.

    2) С другой стороны, вы МОЖЕТЕ заставить работать "ванильный" NFS, хотя и без RDMA/RoCE, и вы все равно можете получить "приличную" производительность, в зависимости от того, что вы используете для хранения данных. (Я использую только HDD, поэтому и так ограничен). Т.е. я не могу достичь скорости 100 Гбит/с с моими NIC 100 Гбит/с, потому что у меня точно нет достаточно HDD, чтобы обрабатывать записи 12,5 ГБ/с.

    3) Это также зависит от того, что еще вы пытаетесь с этим делать. Я настроил один из портов на моей карте с двойным VPI, где LINK_TYPE = ETH (а не IB), и затем попытался настроить Linux network bridge (ethernet), чтобы использовать его для моих VM, и результаты были довольно разочаровывающими. (Я получал ~23 Гбит/с при запуске iperf VM <-> VM, но это может быть потому, что технически, 100 Гбит/с IB = 4x 25 Гбит/с канала (QSFP28)), и он это не знал или не мог это вычислить. Но ib_send_bw показал, что я могу достичь 96,9 Гбит/с на интерфейсе/канале.

    4) Я некоторое время подписан на рассылку linux-rdma, и они подтвердили, что версия opensm в Debian НЕ поддерживает виртуализацию/виртуальные функции, и, следовательно, я даже не мог создать VFs, чтобы затем передавать их VM и/или LXC для использования. Но это больше проблема Debian, чем Mellanox/IB/RDMA/RoCE. (В результате мои вычислительные узлы теперь вернулись к запуску CentOS 7.7.1908, bare metal, потому что я знаю, что IB/RDMA работает с этим.)

    5) Бонус, если вы дошли до этого места -- я также пытался настроить VM CentOS, работающую внутри Proxmox-хоста, при этом связь VM <-> хост обрабатывалась через virtiofs, а затем CentOS VM экспортировал общую папку как NFSoRDMA-экспорт. Этот эксперимент провалился с условием блокировки/устаревшей ссылки NFS, поскольку он пытался бороться с упомянутой virtiofs, чтобы определить состояние общей папки/системы. Локально, CentOS VM может изменять файлы на хосте через virtiofs. Удаленно, однако, возникли проблемы с блокировкой, поэтому от этого отказались. Теперь я пытаюсь посмотреть, есть ли способ для меня, возможно/потенциально, использовать xcp-ng (поскольку он основан на RHEL), чтобы у меня больше повезло с RDMA. Но это уже совершенно другая история.
     
     
     
    alexskysilk
    Guest
    #5
    0
    12.09.2024 18:47:00
    Ты имеешь в виду OFED или встроенные драйверы? Mellanox/nvidia его не поддерживают, это правда, но мне кажется, что установить rdma-core через apt и включить rdma в nfsd.conf было бы довольно просто. Я предполагаю, что ты уже пробовал... Мне никогда не приходилось выжимать эти дополнительные 10%, так что я и не пытался (плюс у меня разные клиенты с точки зрения сетевых интерфейсов).
     
     
     
    alpha754293
    Guest
    #6
    0
    12.09.2024 21:16:00
    Я пока тестировал только с драйвером "in-box", который можно получить из Debian, потому что, по крайней мере, в 2019 году, Mellanox УДАЛИЛ возможность использования NFSoRDMA из своего драйвера OFED. (Источник: https://forums.developer.nvidia.com/t/why-is-nfsordma-in-centos-7-6-1810-limited-to-10-gbps/206720). С тех пор они вернули эту возможность, но с тех пор я не доверяю, что Mellanox (читай: Nvidia) снова не заберет эту функцию, поэтому я застрял с драйверами "in-box" (потому что "in-box" версия CentOS поддерживала NFSoRDMA, и, следовательно, была более надежной/стабильной).  В принципе, хост можно настроить для работы с RDMA, но я так и не смог заставить мои вычислительные узлы правильно смонтировать NFS-экспорт, используя протокол RDMA, на порту 20049 (который является портом по умолчанию для RDMA). Ubuntu не монтирует его, и, если я правильно помню, мои вычислительные узлы CentOS тоже. (Это одна из причин, почему коммуникация VM <-> хост обрабатывается через virtiofs, где это возможно, и lxcfs для LXCs.) Что касается производительности — это может зависеть от множества факторов. Если ваш сервер обычно очень загружен другими задачами, то использование RDMA позволяет, конечно, обойти весь сетевой стек, что означает, что ему не нужно так сильно нагружать CPU. Поэтому прирост производительности МОЖЕТ быть весьма существенным. (В моих приложениях для HPC/CFD/FEA/CAE, внутри приложения, я вижу, что используется около 80 Гбит/с из возможных 100 Гбит/с.) С другой стороны, можно посмотреть на это и наоборот: почему бы не использовать RDMA offload? Если есть способы облегчить нагрузку на CPU, чтобы он мог заниматься другими делами, я не вижу причин, чтобы им не воспользоваться, особенно если а) это работает, и б) время, необходимое для развертывания/включения этой функции, не слишком уж велико.
     
     
     
    alpha754293
    Guest
    #7
    0
    13.09.2024 07:11:00
    Так что... вы, наверное, гадали, стоит ли заморачиваться с RDMA или нет. Я пока не тестировал развертывание RDMA, но это все на моем новом кластере Proxmox (AMD Ryzen 9 5950X, AMD Ryzen 9 5950X, AMD Ryzen 9 7950X), где каждый узел имеет 128 ГБ оперативной памяти (DDR4, DDR4, DDR5 соответственно), и все они также оснащены Mellanox Connect-X 4 (MCX456A-ECAT) с двумя портами VPI 100 Gbps IB NIC), подключенным к моему Mellanox 36-портовому внешне управляемому коммутатору 100 Gbps IB (MSB-7890), с моим основным сервером Proxmox, на котором работает opensm, входящий в состав Debian. Все три узла были развернуты около 3 часа назад (работает Proxmox 8.2.4) и Ceph Quincy (17.2.7). В двух системах 5950X установлен Silicon Power US70 1 TB NVMe 4.0 x4 SSD, а в 7950X — Intel 670p 2 TB NVMe 3.0 (вроде как) x4 SSD. Я повторил тот же тест, но вместо 10-гигабайтного файла протестировал его с 50-гигабайтым файлом, и это дало скорость записи 20.1 ГБ/с (160.8 Гбит/с) вместо 20.4 ГБ/с (163.2 Гбит/с). Эти тесты проводились, пока я также устанавливал VM Windows 11 в фоновом режиме (я готовлюсь к тесту скорости живой миграции).

    *редактирование* Я настроил VM Ubuntu 24.04 с выделенной ей 64 ГБ оперативной памяти. С помощью 100 Gbps IB я могу живой мигрировать эту VM на другой узел за 10 секунд со средней скоростью миграции 12.8 ГБ/с (102.4 Гбит/с).

    *редактирование #2* Вот живая миграция VM Win11 с выделенной ей 64 ГБ оперативной памяти. (16 ГБ/с = 128 Гбит/с)
     
     
     
    alexskysilk
    Guest
    #8
    0
    13.09.2024 17:55:00
    Спасибо за данные, но я не уверен, как это отвечает на вопрос "стоит ли вообще заниматься RDMA?". Кстати, о сжатии. Если у вас нет способа полностью загрузить оперативную память ВМ неcompressible данными, то это не так уж и впечатляет.
     
     
     
    alpha754293
    Guest
    #9
    0
    13.09.2024 19:36:00
    По-моему, никакой компрессии тут особо и нет. У ВМ всего несколько секунд uptime, прежде чем я отправляю запрос на миграцию, так что у нее нет времени сжать то, что в RAM. К тому же, мы знаем, что в обоих случаях Windows, и ТАКЖЕ Ubuntu (или любой Linux в принципе), начнут кэшировать часто используемые файлы в RAM, если только ты не добавишь параметр vm.vfs_cache_pressure в /etc/sysctl.conf, чтобы минимизировать или вообще предотвратить это. Другими словами, кэширование в RAM (которое все равно имеет гораздо более быстрый интерфейс, чем даже 100 Gbps IB) все равно означает, что тебе нужно перекачивать данные на другой узел по этому самому 100 Gbps IB. Что касается вопроса о RDMA – я нашел источник от Nvidia, где рассказывается, как включить RDMA с Ceph, но потом наткнулся на другие сообщения на форумах, где говорится, что Ceph не поддерживает и не работает с IB. Похоже, тут пока что все неясно. Кстати, а ты используешь HDR IB? 200 GbE дома? NDR IB/400 GbE? XDR IB/800 GbE? Что у тебя дома установлено?
     
     
     
    alexskysilk
    Guest
    #10
    0
    13.09.2024 19:47:00
    Сжатие в полете. Если ты только запустил гостя, то оперативная память в основном нули. Да, я помню, что около 2018 года обсуждали этот вопрос, и некоторые ребята умудрились заставить это работать, но требовалось компилировать из исходников. Результаты тогда не впечатлили, но это больше связано с неэффективным механизмом, который ceph использует для OSD. Когда Crimson наконец-то выйдет, ситуация может измениться. А что касается IB... тут зависит от того, что ты имеешь в виду. Ceph отлично работает через IPOIB. Так я и построил свой кластер сервисов в 2014 году. Если ты имел в виду RDMA, смотри выше. Смесь QDR, FDR и EDR. Всё это ethernet, я давно забросил IB. Я не приношу работу домой. Слышал анекдот: "Что говорит гинеколог своей жене в первую брачную ночь? Милая, я даже не посмотрю на тебя меньше чем за 300 долларов."
     
     
     
    alpha754293
    Guest
    #11
    0
    14.09.2024 04:18:00
    Если бы это было так, то миграция VM с 16 ГБ ОЗУ должна была бы проходить значительно быстрее, чем миграция той же VM с 64 ГБ ОЗУ. Но это не так. То есть, используются ib verbs для передачи данных. У меня был смешанный успех, в основном провалы, когда дело касается 100 GbE (то есть попытка разделить 100 GbE-соединение между VM/LXCs даже близко не приблизилась к возможностям/емкости в 100 Гбит/с. Я не знаю, есть ли способ создать Linux ethernet bridge, который сможет распознать, что 100 Гбит/с-линк фактически состоит из 4x 25 Гбит/с-линков. Это мне не нужно. Это просто ради интереса/для смеха.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры