Всем привет! Я давно ищу пошаговую инструкцию по настройке RoCE на последней версии Proxmox. Использую карты ConnectX-3 с двойным портом и соединительный кабель, поддерживающий InfiniBand и Ethernet нативно, без использования коммутатора. Сеть настроена для Ethernet с обеих сторон, и 40-гигабитные соединения работают отлично, но я хочу использовать возможность пропускать CPU для обмена данными между узлами. Эти общие папки будут использоваться только для файлов, а не для виртуальных машин, там много медиафайлов. После настройки я протестирую NFS 4.2 и SMB, чтобы понять, что лучше работает на моих системах. Поиском в Google я пока ничего толком не нашел, получил инструкции ниже от ChatGPT4, но пока не доверяю AI на 100%, чтобы он был абсолютно точен. Ищу похожую, но проверенную пошаговую инструкцию. После просмотра 50 разных сайтов я нашел 50 разных ответов. Буду очень благодарен за помощь, чтобы не продолжать испортить конфигурации, пытаясь настроить систему по неточным гайдам.
От ChatGPT4:
//------- RoCE (RDMA over Converged Ethernet) позволяет эффективно обмениваться данными между узлами в сети, используя Remote Direct Memory Access (RDMA) поверх Ethernet. Для настройки RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора, вам нужно выполнить следующие шаги:
1. Установите необходимые драйверы:
- Карты ConnectX-3 требуют установки драйвера `mlx4_en`. Вы можете установить его с помощью следующей команды:
```
apt-get install -y linux-modules-extra-$(uname -r) mlx4_en
```
- Проверьте, что драйвер загружен, с помощью следующей команды:
```
lsmod | grep mlx4_en
```
2. Настройте сетевой интерфейс:
- Определите сетевой интерфейс, соответствующий карте ConnectX-3, с помощью следующей команды:
```
ip a
```
- Отредактируйте файл конфигурации сетевого интерфейса `/etc/network/interfaces` и добавьте следующие строки для настройки интерфейса:
```
auto enp6s0f0
iface enp6s0f0 inet static
address <IP_ADDRESS>
netmask <NETMASK>
```
- Замените `enp6s0f0` на имя сетевого интерфейса, определенного на предыдущем шаге, и замените `<IP_ADDRESS>` и `<NETMASK>` на желаемый IP-адрес и маску сети для интерфейса.
- Перезапустите службу сетевых настроек с помощью следующей команды:
```
systemctl restart networking
```
3. Настройте RoCE:
- Отредактируйте файл конфигурации RoCE `/etc/modprobe.d/mlx4.conf` и добавьте следующую строку:
```
options mlx4_core roce_mode=1
```
- Перезапустите службу `rdma` с помощью следующей команды:
```
systemctl restart rdma
```
4. Проверьте подключение RoCE:
- Используйте команду `ibstat` для проверки подключения карты ConnectX-3 к сети RoCE:
```
ibstat
```
- В выводе должно отображаться RoCE-интерфейс с допустимым статусом и уровнем канала связи.
- Используйте команду `ibping` для проверки работоспособности подключения RoCE:
```
ibping -c 10 <IP_ADDRESS>
```
- Замените `<IP_ADDRESS>` на IP-адрес другого узла в сети RoCE. В выводе должны отображаться успешные пинги с низкой задержкой и джиттером.
Выполнив эти шаги, вы сможете настроить RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора. ------\\
Заранее спасибо за помощь!
Keith
От ChatGPT4:
//------- RoCE (RDMA over Converged Ethernet) позволяет эффективно обмениваться данными между узлами в сети, используя Remote Direct Memory Access (RDMA) поверх Ethernet. Для настройки RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора, вам нужно выполнить следующие шаги:
1. Установите необходимые драйверы:
- Карты ConnectX-3 требуют установки драйвера `mlx4_en`. Вы можете установить его с помощью следующей команды:
```
apt-get install -y linux-modules-extra-$(uname -r) mlx4_en
```
- Проверьте, что драйвер загружен, с помощью следующей команды:
```
lsmod | grep mlx4_en
```
2. Настройте сетевой интерфейс:
- Определите сетевой интерфейс, соответствующий карте ConnectX-3, с помощью следующей команды:
```
ip a
```
- Отредактируйте файл конфигурации сетевого интерфейса `/etc/network/interfaces` и добавьте следующие строки для настройки интерфейса:
```
auto enp6s0f0
iface enp6s0f0 inet static
address <IP_ADDRESS>
netmask <NETMASK>
```
- Замените `enp6s0f0` на имя сетевого интерфейса, определенного на предыдущем шаге, и замените `<IP_ADDRESS>` и `<NETMASK>` на желаемый IP-адрес и маску сети для интерфейса.
- Перезапустите службу сетевых настроек с помощью следующей команды:
```
systemctl restart networking
```
3. Настройте RoCE:
- Отредактируйте файл конфигурации RoCE `/etc/modprobe.d/mlx4.conf` и добавьте следующую строку:
```
options mlx4_core roce_mode=1
```
- Перезапустите службу `rdma` с помощью следующей команды:
```
systemctl restart rdma
```
4. Проверьте подключение RoCE:
- Используйте команду `ibstat` для проверки подключения карты ConnectX-3 к сети RoCE:
```
ibstat
```
- В выводе должно отображаться RoCE-интерфейс с допустимым статусом и уровнем канала связи.
- Используйте команду `ibping` для проверки работоспособности подключения RoCE:
```
ibping -c 10 <IP_ADDRESS>
```
- Замените `<IP_ADDRESS>` на IP-адрес другого узла в сети RoCE. В выводе должны отображаться успешные пинги с низкой задержкой и джиттером.
Выполнив эти шаги, вы сможете настроить RoCE на Proxmox 7.4 с использованием карт ConnectX-3 без коммутатора. ------\\
Заранее спасибо за помощь!
Keith
