+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Mellanox MCX653106A-ECAT Поддержка, Proxmox Виртуальная Среда

dan.ger

Guest

15.04.2021 21:16:00

Привет, у нас есть 3 узла, которые используют 24 NVMe (по 8 дисков на узел) с Ceph и объединенными адаптерами 2x Intel 10GBe, и мы планируем купить Mellanox MCX653106A-ECAT-SP (подключенные в Meshup с DAC-кабелями для 200 Gbe). - Поддерживаются ли эти карты Proxmox с драйвером debian MLNX_OFED? - Есть ли какие-либо проблемы с картами Mellanox, особенно при обновлении Proxmox до новой версии? Извините за такие глупые вопросы, но не хочу тратить деньги впустую. С уважением, Даниэль

dan.ger

Guest

22.05.2021 16:17:00

Привет, я пытаюсь настроить интерфейсы, но если следовать инструкциям по маршрутизированию Meshup и режиму Infiniband, я не могу раскомментировать строки.
Node1:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.1/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.2/32 dev ib0
down ip route del 10.10.20.2/32
auto ib1
iface ib1 inet static
address 10.10.20.1/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.3/32 dev ib1
down ip route del 10.10.20.3/32
Node2:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.2/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.1/32 dev ib0
down ip route del 10.10.20.1/32
auto ib1
iface ib1 inet static
address 10.10.20.2/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.3/32 dev ib1
down ip route del 10.10.20.3/32
Node3:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.3/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.1/32 dev ib0
down ip route del 10.10.20.1/32
auto ib1
iface ib1 inet static
address 10.10.20.3/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.2/32 dev ib1
down ip route del 10.10.20.2/32
ifconfig ib0:
Code:
ib0: flags=4099<UP,BROADCAST,MULTICAST> mtu 4092
inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255
unspec 00-00-01-82-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ifconfig ib1:
Code:
ib1: flags=4099<UP,BROADCAST,MULTICAST> mtu 4092
inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255
unspec 00-00-02-95-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
mst status:
Code:
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt4123_pciconf0 - PCI configuration cycles access.
domain:bus:dev.fn=0000:3b:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1
Chip revision is: 00
ip route:
Code:
10.10.20.0/24 dev ib0 proto kernel scope link src 10.10.20.3 linkdown
10.10.20.0/24 dev ib1 proto kernel scope link src 10.10.20.3 linkdown
10.10.20.1 dev ib0 scope link linkdown
10.10.20.2 dev ib1 scope link linkdown
Есть идеи, что я настроил неправильно? Также я не могу пинговать другие хосты 10.10.20.1-3, только сам хост.

aaron Guest	#3 0 25.05.2021 16:52:00 Очень глупый вопрос, но вы подключили кабели к правильному сетевому адаптеру? Что произойдет, если вы переключите маршруты на другой интерфейс или поменяете кабели?

dan.ger

Guest

25.05.2021 17:22:00

Привет, это не глупый вопрос, я проверю это с помощью ibstatus, если ссылки будут доступны после перезагрузки сервера. Пока сервер перезагружается, ссылка отображается как отключенная/не работает. Так что я думаю, что соединение должно работать/кабели подключены, вывод ibstatus: Код: Устройство Infiniband 'mlx5_0', статус порта 1:
стандартный gid: fe80:0000:0000:0000:b8ce:f603:005d:42ae
базовый lid: 0xffff
sm lid: 0x0
состояние: 2: INIT
физическое состояние: 5: LinkUp
скорость: 56 Gb/sec (4X FDR)
уровень канала: InfiniBand

Устройство Infiniband 'mlx5_1', статус порта 1:
стандартный gid: fe80:0000:0000:0000:b8ce:f603:005d:42af
базовый lid: 0xffff
sm lid: 0x0
состояние: 2: INIT
физическое состояние: 5: LinkUp
скорость: 56 Gb/sec (4X FDR)
уровень канала: InfiniBand

Карты в режиме: infiniband (не ethernet!) загруженные модули: Код: mlx5_ib 376832 0
ib_uverbs 135168 10 rdma_ucm,mlx5_ib
ib_core 315392 9 rdma_cm,ib_ipoib,iw_cm,ib_iser,ib_umad,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm
mlx5_core 1368064 1 mlx5_ib
pci_hyperv_intf 16384 1 mlx5_core
mdev 24576 2 vfio_mdev,mlx5_core
tls 73728 1 mlx5_core
mlxfw 28672 1 mlx5_core
psample 20480 1 mlx5_core
mlx_compat 65536 11 rdma_cm,ib_ipoib,iw_cm,ib_iser,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core

dan.ger

Guest

25.05.2021 18:11:00

если я вызываю ibhosts с портом 0 и портом 1, что следует ожидать? Я получаю: Host 1 ibhosts -P 0 Код: Ca : 0xb8cef603005d458f порты 1 "pve-03 HCA-2" Ca : 0xb8cef603005d403e порты 1 "pve-01 HCA-1" Host 1 ibhosts -P 1 Код: Ca : 0xb8cef603005d458f порты 1 "pve-03 HCA-2" Ca : 0xb8cef603005d403e порты 1 "pve-01 HCA-1" Не должны ли порты показывать топологию, например: Host1 => Host2 Host1 => Host3

dan.ger

Guest

26.05.2021 07:12:00

Я установил карты на каждом хосте следующими шагами:

1. Проверил наличие устройств Mellanox:
lspci | grep Mellanox

2. Установил заголовки pve:
aptitude install pve-headers

3. Перезагрузил систему:
reboot

4. Создал репозиторий Mellanox:
cd /etc/apt/sources.list.d/
wget https://linux.mellanox.com/public/repo/mlnx_ofed/latest/debian10.5/mellanox_mlnx_ofed.list
wget -qO - https://www.mellanox.com/downloads/ofed/RPM-GPG-KEY-Mellanox | sudo apt-key add -

5. Установил драйвер:
aptitude install mlnx-ofed-basic

6. Установил обновление прошивки:
aptitude install mlnx-fw-updater

dan.ger

Guest

26.05.2021 07:28:00

Я только что настроил mode и mtu без каких-либо проблем, но ip route показывает, что ссылка недоступна. Чтобы использовать mode connected и mtu, выполните следующее: 1. Отключите ipoib_enhanced в /etc/modprobe.d/ib_ipoib.conf: Код: options .... ipoib_enhanced=0 .... 2. Перезапустите службу openibd: Код: service openibd restart /etc/init.d/openibd restart 3. Проверьте, что ipoib_enhanced отключен: Код: cat /sys/module/ib_ipoib/parameters/ipoib_enhanced 4. Проверьте, что mode установлен: Код: cat /sys/class/net/ib*/mode

dan.ger

Guest

26.05.2021 07:47:00

Я только что заметил, что флаг работы неактивен для ib0/ib1. Код: ib0: flags=4099<UP,BROADCAST,MULTICAST> mtu 65520 inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255 unspec 80-00-02-46-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC) RX пакеты 0 bytes 0 (0.0 B) RX ошибки 0 dropped 0 overruns 0 frame 0 TX пакеты 0 bytes 0 (0.0 B) TX ошибки 0 dropped 0 overruns 0 carrier 0 collisions 0 ib1: flags=4099<UP,BROADCAST,MULTICAST> mtu 65520 inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255 unspec 80-00-02-44-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC) RX пакеты 0 bytes 0 (0.0 B) RX ошибки 0 dropped 0 overruns 0 frame 0 TX пакеты 0 bytes 0 (0.0 B) TX ошибки 0 dropped 0 overruns 0 carrier 0 collisions 0 Я купил карты у Dell с их фирменными кабелями Dell QFSP28 (а это должны быть оригинальные кабели mellanox). Не доставили ли мне неправильные кабели?

aaron

Guest

26.05.2021 12:03:00

Вы пробовали упростить настройку, чтобы проверить, будет ли работать сама сетевое соединение? Например, настройте и подключите только один порт без каких-либо специальных маршрутов или чего-то подобного. Просто простой интерфейс с одним IP-адресом. То же самое на другом сервере, к которому вы подключаетесь. Это должно помочь избежать любых проблем, которые могут возникнуть из-за соединения в топологии mesh изначально. Как только это будет работать, вы можете перейти к следующему шагу и попробовать сделать так, чтобы все работало в topologii mesh. К сожалению, у меня не так много опыта с IP через InfiniBand

dan.ger Guest	#10 0 26.05.2021 21:26:00 Я пробую это, но результат тот же... Но если я запускаю opensm -g {Port-Guid} --daemon, интерфейсы показывают статус "running" и "route", а также ip route показывает, что ссылки активны, но я не могу пинговать хосты...

dan.ger

Guest

#11

02.06.2021 15:32:00

Я создал для каждого узла и порта файл конфигурации opensm.conf: pve-01 /etc/opensm/opensm.ib0.conf Код: guid {{PortGuid0}} daemon TRUE log_file /var/log/opensm.ib0.log dump_files_dir /var/log/opensm/ib0 pve-01 /etc/opensm/opensm.ib1.conf Код: guid {{PortGuid0}} daemon TRUE log_file /var/log/opensm.ib1.log dump_files_dir /var/log/opensm/ib1 для pve-02 и 03 я также создал такие же конфиги для ib0 и ib1 (замените {{PortGuida}} на ваши GUID). Затем я запускаю opensm для каждого порта на каждом узле: Код: opensm --config /etc/opensm/opensm.ib0.conf opensm --config /etc/opensm/opensm.ib1.conf После этого у меня есть 3 подсети для каждого прямого соединения. После этого я смог пропинговать через ibping на каждой подсети другой узел, который подключен напрямую. Я инициализировал все порты на каждой подсети с новой ipv4 подсетью, как 10.10.1.1/24 => 10.10.1.2, 10.10.2.1 10.10.2.3 и так далее, но я не смог пропинговать через ping прямое соединение. iboip загружен как модуль, так что я думаю, что чего-то не хватает.

dan.ger Guest	#12 0 22.07.2021 11:50:00 Правило брандмауэра Fixerd разрешает локальную сеть. После настройки правила брандмауэра дата-центра всё работает отлично. Но я переключился на режим Ethernet с ROCE, и всё работает очень плавно.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры