Вау, это прошло на удивление гладко. Не понимаю, почему я так сильно мучился. У меня на картах вообще нет ethernet-портов, только infiniband. Значит, я правильно понимаю, что переключаться в ethernet-режим между двумя такими картами (на разных физических машинах, да?) не нужно? На самом деле, ethernet-режим, наверное, даже может создать проблемы? ИЗМЕНЕНИЕ: Забудь всё, снова в тупике. Кажется, моё устройство слишком старое и не поддерживается? root@server:/etc# mlxconfig -d /dev/mst/mt26428_pci_cr1 query -E- Unsupported device :'(

Спасибо, SourCheeks. Да, только Infiniband. Я собираюсь разобраться с этим, посмотреть, что смогу выяснить. Но точно не помешала бы более конкретная помощь. Я думал, что OpenSM уже встроен в карты, это моя ошибка (всё ещё учусь). Пытался напрямую соединить два компьютера, но складывается впечатление, что, может, всё-таки стоит купить Infiniband-свитч? У меня три машины: два (довольно старых) сервера и один настольный компьютер, который я хотел бы подключить. То есть, старенький, но ещё вполне пригодный десктоп — у меня много старого хлама, который пока просто собирает пыль. Лучший сервер оснащён двумя картами connectx-2, у каждой по одному порту Infiniband, на двух остальных машинах — по одной такой же карте. Честно говоря, Proxmox и сети — это то, чему я надеюсь научиться в процессе, так что с решениями, похожими на Infiniband, я пока новичок. Планирую копаться в OFED, и любая помощь в моём подходе будет очень кстати.

Что ж, раз я случайно превратил это в рабочий дневник, думаю, продолжу. opensm --create-config /etc/opensm/opensm.conf создал мне файл конфигурации, с которым можно работать. Внутри я выставил GUID, чтобы он совпадал с портовым GUID, который получил из ibstatus. Запустил `opensm` — и бац! Статус порта 1 устройства Infiniband 'mlx4_0':  
default gid:     fe80:0000:0000:0000:0002:c903:000c:4991  
base lid:        0x3  
sm lid:          0x3  
state: 4: ACTIVE  
phys state:      5: LinkUp  
rate:            40 Gb/sec (4X QDR)  
link_layer:      InfiniBand  

Так что прогресс есть, хотя я явно не понимаю, что делаю — но это нормально. Запустил оба устройства, создав дополнительный конфиг (по инструкции отсюда: https://lists.openfabrics.org/pipermail/ewg/2015-February/018341.html. Если вы читаете это в будущем, и ссылка не работает, смотрите archive.org).

Теперь надо понять, как заставить proxmox распознать эти подключения...

Пожалуйста, предоставьте текст для перевода.

О, у меня была такая же проблема, попробуй так: Код: # НЕ рекомендуется для использования в продакшене, может быть излишним, но у меня есть доступ к dkms, так что пусть будет здесь.
echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" >> /etc/apt/sources.list

# обновляем список пакетов
apt update

# устанавливаем недостающие пакеты — Обрати внимание, последний пакет отличается для proxmox по сравнению с тем, что требует MFT.
apt install gcc dkms pve-headers

Думаю, драйверы для Infiniband всё ещё есть, но как любитель, я тоже столкнулся с трудностями при попытке что-то запустить без разных программных продуктов и прошивок от Mellanox. Наверняка ты заметил, что почти всё, что устанавливается от Mellanox, сначала пытается удалить уже имеющиеся компоненты — скорее всего, это родные решения Proxmox. В общем, без самого ПО (mst start и прочего), а единственный ресурс по Infiniband в форуме Proxmox (https://pve.proxmox.com/wiki/Infiniband), который я нашёл, совсем не решает эти вопросы, сделать что-то сложно. Что касается драйверов, я так и не смог полностью установить OFED, но, насколько я понял, в Proxmox уже есть почти всё, что нужно. Мне пришлось активировать кучу модулей и при этом OFED особо не потребовался — думаю, именно это и называют поддержкой Proxmox. Вот список модулей, которые я сейчас использую, не уверен, что все они нужны или что-то из этого вообще работает, но так у меня и получилось:

mst_pciconf  
mlx4_core  
mlx4_ib  
mlx4_en  
ib_ipoib  
ipoib_helper  
ib_addr  
ib_core  
ib_sa  
ib_mad  
ib_umad  
ib_uverbs  
ib_cm  
ib_ipoib  
ib_iser  
ib_isert  
ib_ucm  
ib_sdp

Ах да, и ещё понадобится: apt install opensm — это нужно для каждой подсети Infiniband, которую будешь запускать (по крайней мере, я так думаю). Вообще, воспринимай всё, что говорю, с долей скептицизма и тщательно проверяй информацию. Я делюсь, чтобы помочь, но на самом деле плохо разбираюсь в этом, так что всё перепроверяй.

Всем привет, у меня тоже возникают некоторые трудности с этим. Рад, что несколько человек смогли заставить всё работать по инструкции выше, но у меня не вышло. Я настороженно отношусь к установке драйверов OFED из-за всего, что они творят с системой (автоматически удаляют кучу важных пакетов, например pve-manager?), поэтому мне довольно интересно узнать больше об этом процессе. У меня стоит карта connectx-2 VPI (dual QSFP, 40 Гбит IB и 10 Гбит Ethernet), которую я купил на eBay очень дешево, и я хочу понять, как их надолго поддержать в рабочем состоянии.

Меня особенно интересует, как у других это получилось, потому что у меня: а) драйверы не устанавливались, и казалось, что если бы установились, то всё равно сломали бы кучу важных пакетов; б) connectx_port_config не существует без установленных драйверов; в) mlxconfig, который идёт с MFT (который я успешно установил) и является альтернативным способом настройки режима, выдавала ошибку "unsupported device", как и у jw6677.