Аспро: ЛайтШоп [тема: Mellanox MCX653106A-ECAT Поддержка]

Mellanox MCX653106A-ECAT Поддержка

Thu, 22 Jul 2021 11:50:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Правило брандмауэра Fixerd разрешает локальную сеть. После настройки правила брандмауэра дата-центра всё работает отлично. Но я переключился на режим Ethernet с ROCE, и всё работает очень плавно.
22.07.2021 11:50:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Wed, 02 Jun 2021 15:32:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я создал для каждого узла и порта файл конфигурации opensm.conf: pve-01 /etc/opensm/opensm.ib0.conf Код: guid {{PortGuid0}} daemon TRUE log_file /var/log/opensm.ib0.log dump_files_dir /var/log/opensm/ib0 pve-01 /etc/opensm/opensm.ib1.conf Код: guid {{PortGuid0}} daemon TRUE log_file /var/log/opensm.ib1.log dump_files_dir /var/log/opensm/ib1 для pve-02 и 03 я также создал такие же конфиги для ib0 и ib1 (замените {{PortGuida}} на ваши GUID). Затем я запускаю opensm для каждого порта на каждом узле: Код: opensm --config /etc/opensm/opensm.ib0.conf opensm --config /etc/opensm/opensm.ib1.conf После этого у меня есть 3 подсети для каждого прямого соединения. После этого я смог пропинговать через ibping на каждой подсети другой узел, который подключен напрямую. Я инициализировал все порты на каждой подсети с новой ipv4 подсетью, как 10.10.1.1/24 => 10.10.1.2, 10.10.2.1 10.10.2.3 и так далее, но я не смог пропинговать через ping прямое соединение. iboip загружен как модуль, так что я думаю, что чего-то не хватает.
02.06.2021 15:32:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Wed, 26 May 2021 21:26:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я пробую это, но результат тот же... Но если я запускаю opensm -g {Port-Guid} --daemon, интерфейсы показывают статус "running" и "route", а также ip route показывает, что ссылки активны, но я не могу пинговать хосты...
26.05.2021 21:26:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Wed, 26 May 2021 12:03:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы пробовали упростить настройку, чтобы проверить, будет ли работать сама сетевое соединение? Например, настройте и подключите только один порт без каких-либо специальных маршрутов или чего-то подобного. Просто простой интерфейс с одним IP-адресом. То же самое на другом сервере, к которому вы подключаетесь. Это должно помочь избежать любых проблем, которые могут возникнуть из-за соединения в топологии mesh изначально. Как только это будет работать, вы можете перейти к следующему шагу и попробовать сделать так, чтобы все работало в topologii mesh. К сожалению, у меня не так много опыта с IP через InfiniBand
26.05.2021 12:03:00, aaron.

Mellanox MCX653106A-ECAT Поддержка

Wed, 26 May 2021 07:47:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я только что заметил, что флаг работы неактивен для ib0/ib1. Код: ib0: flags=4099 mtu 65520 inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255 unspec 80-00-02-46-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC) RX пакеты 0 bytes 0 (0.0 B) RX ошибки 0 dropped 0 overruns 0 frame 0 TX пакеты 0 bytes 0 (0.0 B) TX ошибки 0 dropped 0 overruns 0 carrier 0 collisions 0 ib1: flags=4099 mtu 65520 inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255 unspec 80-00-02-44-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC) RX пакеты 0 bytes 0 (0.0 B) RX ошибки 0 dropped 0 overruns 0 frame 0 TX пакеты 0 bytes 0 (0.0 B) TX ошибки 0 dropped 0 overruns 0 carrier 0 collisions 0 Я купил карты у Dell с их фирменными кабелями Dell QFSP28 (а это должны быть оригинальные кабели mellanox). Не доставили ли мне неправильные кабели?
26.05.2021 07:47:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Wed, 26 May 2021 07:28:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я только что настроил mode и mtu без каких-либо проблем, но ip route показывает, что ссылка недоступна. Чтобы использовать mode connected и mtu, выполните следующее: 1. Отключите ipoib_enhanced в /etc/modprobe.d/ib_ipoib.conf: Код: options .... ipoib_enhanced=0 .... 2. Перезапустите службу openibd: Код: service openibd restart /etc/init.d/openibd restart 3. Проверьте, что ipoib_enhanced отключен: Код: cat /sys/module/ib_ipoib/parameters/ipoib_enhanced 4. Проверьте, что mode установлен: Код: cat /sys/class/net/ib*/mode
26.05.2021 07:28:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Wed, 26 May 2021 07:12:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я установил карты на каждом хосте следующими шагами:

1. Проверил наличие устройств Mellanox:
lspci | grep Mellanox

2. Установил заголовки pve:
aptitude install pve-headers

3. Перезагрузил систему:
reboot

4. Создал репозиторий Mellanox:
cd /etc/apt/sources.list.d/
wget https://linux.mellanox.com/public/repo/mlnx_ofed/latest/debian10.5/mellanox_mlnx_ofed.list
wget -qO - https://www.mellanox.com/downloads/ofed/RPM-GPG-KEY-Mellanox | sudo apt-key add -

5. Установил драйвер:
aptitude install mlnx-ofed-basic

6. Установил обновление прошивки:
aptitude install mlnx-fw-updater
26.05.2021 07:12:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Tue, 25 May 2021 18:11:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
если я вызываю ibhosts с портом 0 и портом 1, что следует ожидать? Я получаю: Host 1 ibhosts -P 0 Код: Ca : 0xb8cef603005d458f порты 1 "pve-03 HCA-2" Ca : 0xb8cef603005d403e порты 1 "pve-01 HCA-1" Host 1 ibhosts -P 1 Код: Ca : 0xb8cef603005d458f порты 1 "pve-03 HCA-2" Ca : 0xb8cef603005d403e порты 1 "pve-01 HCA-1" Не должны ли порты показывать топологию, например: Host1 => Host2 Host1 => Host3
25.05.2021 18:11:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Tue, 25 May 2021 17:22:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, это не глупый вопрос, я проверю это с помощью ibstatus, если ссылки будут доступны после перезагрузки сервера. Пока сервер перезагружается, ссылка отображается как отключенная/не работает. Так что я думаю, что соединение должно работать/кабели подключены, вывод ibstatus: Код: Устройство Infiniband 'mlx5_0', статус порта 1:
стандартный gid: fe80:0000:0000:0000:b8ce:f603:005d:42ae
базовый lid: 0xffff
sm lid: 0x0
состояние: 2: INIT
физическое состояние: 5: LinkUp
скорость: 56 Gb/sec (4X FDR)
уровень канала: InfiniBand

Устройство Infiniband 'mlx5_1', статус порта 1:
стандартный gid: fe80:0000:0000:0000:b8ce:f603:005d:42af
базовый lid: 0xffff
sm lid: 0x0
состояние: 2: INIT
физическое состояние: 5: LinkUp
скорость: 56 Gb/sec (4X FDR)
уровень канала: InfiniBand

Карты в режиме: infiniband (не ethernet!) загруженные модули: Код: mlx5_ib 376832 0
ib_uverbs 135168 10 rdma_ucm,mlx5_ib
ib_core 315392 9 rdma_cm,ib_ipoib,iw_cm,ib_iser,ib_umad,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm
mlx5_core 1368064 1 mlx5_ib
pci_hyperv_intf 16384 1 mlx5_core
mdev 24576 2 vfio_mdev,mlx5_core
tls 73728 1 mlx5_core
mlxfw 28672 1 mlx5_core
psample 20480 1 mlx5_core
mlx_compat 65536 11 rdma_cm,ib_ipoib,iw_cm,ib_iser,ib_umad,ib_core,rdma_ucm,ib_uverbs,mlx5_ib,ib_cm,mlx5_core
25.05.2021 17:22:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Tue, 25 May 2021 16:52:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Очень глупый вопрос, но вы подключили кабели к правильному сетевому адаптеру? Что произойдет, если вы переключите маршруты на другой интерфейс или поменяете кабели?
25.05.2021 16:52:00, aaron.

Mellanox MCX653106A-ECAT Поддержка

Sat, 22 May 2021 16:17:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я пытаюсь настроить интерфейсы, но если следовать инструкциям по маршрутизированию Meshup и режиму Infiniband, я не могу раскомментировать строки.
Node1:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.1/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.2/32 dev ib0
down ip route del 10.10.20.2/32
auto ib1
iface ib1 inet static
address 10.10.20.1/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.3/32 dev ib1
down ip route del 10.10.20.3/32
Node2:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.2/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.1/32 dev ib0
down ip route del 10.10.20.1/32
auto ib1
iface ib1 inet static
address 10.10.20.2/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.3/32 dev ib1
down ip route del 10.10.20.3/32
Node3:
Code:
auto ib0
iface ib0 inet static
address 10.10.20.3/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib0/mode
# mtu 65520
up ip route add 10.10.20.1/32 dev ib0
down ip route del 10.10.20.1/32
auto ib1
iface ib1 inet static
address 10.10.20.3/24
pre-up modprobe ib_ipoib
# pre-up echo connected > /sys/class/net/ib1/mode
# mtu 65520
up ip route add 10.10.20.2/32 dev ib1
down ip route del 10.10.20.2/32
ifconfig ib0:
Code:
ib0: flags=4099 mtu 4092
inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255
unspec 00-00-01-82-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ifconfig ib1:
Code:
ib1: flags=4099 mtu 4092
inet 10.10.20.3 netmask 255.255.255.0 broadcast 10.10.20.255
unspec 00-00-02-95-FE-80-00-00-00-00-00-00-00-00-00-00 txqueuelen 256 (UNSPEC)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
mst status:
Code:
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt4123_pciconf0 - PCI configuration cycles access.
domain:bus:dev.fn=0000:3b:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1
Chip revision is: 00
ip route:
Code:
10.10.20.0/24 dev ib0 proto kernel scope link src 10.10.20.3 linkdown
10.10.20.0/24 dev ib1 proto kernel scope link src 10.10.20.3 linkdown
10.10.20.1 dev ib0 scope link linkdown
10.10.20.2 dev ib1 scope link linkdown
Есть идеи, что я настроил неправильно? Также я не могу пинговать другие хосты 10.10.20.1-3, только сам хост.
22.05.2021 16:17:00, dan.ger.

Mellanox MCX653106A-ECAT Поддержка

Thu, 15 Apr 2021 21:16:00 +0300

Mellanox MCX653106A-ECAT Поддержка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у нас есть 3 узла, которые используют 24 NVMe (по 8 дисков на узел) с Ceph и объединенными адаптерами 2x Intel 10GBe, и мы планируем купить Mellanox MCX653106A-ECAT-SP (подключенные в Meshup с DAC-кабелями для 200 Gbe). - Поддерживаются ли эти карты Proxmox с драйвером debian MLNX_OFED? - Есть ли какие-либо проблемы с картами Mellanox, особенно при обновлении Proxmox до новой версии? Извините за такие глупые вопросы, но не хочу тратить деньги впустую. С уважением, Даниэль
15.04.2021 21:16:00, dan.ger.