http://proxmox.su Новое в теме 40gbs Mellanox Infinityband форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 15 Nov 2026 17:17:31 +0300 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не уверен, нужен ли тебе ещё помощь, но у меня есть три кластера Ceph на IB с подключением ib, x2 или x3 и разными коммутаторными платформами (Mellanox, Voltaire, IBM Blade), а также с интерфейсами CX4 и QSFP. Похоже, тебе нужно глубже разобраться с OFED и попробовать скомпилировать его самостоятельно, чтобы исправить проблему с Buster, ведь готовой версии для этого нет. Если надо, могу здесь объяснить, как это сделать. Как только сделаешь — это решит большую часть твоих проблем. Что касается твоей проблемы с загрузкой — у меня её нет, но ты можешь добавить её в свой пост про интерфейс, например. И ещё, кажется, у тебя в сети не запущен opensm.
05.11.2019 01:16:00, iconvergence.]]> http://proxmox.su/forum/messages/forum63/message348253/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348253/80489-40gbs-mellanox-infinityband Tue, 05 Nov 2019 01:16:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я просто хотел вставить свои пять копеек и сказать спасибо. Вижу, что у тебя по-прежнему нет никого, к кому можно обратиться за помощью или подтверждением твоей темы, но это решение сработало и у меня с connectX-2. Потратил кучу времени, прежде чем наткнулся на эту тему, но именно этого я и искал. Единственное, что меня смущало в этой теме — переход с ib на ethernet, но именно это мне и нужно было сделать, хотя мой внутренний голос говорил: «Но я же пытаюсь настроить Infiniband, это точно не для меня», а оказалось наоборот. Просто хотел знать. Найти меня онлайн можно по ссылке: https://www.cayk.ca/
29.10.2019 15:30:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348252/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348252/80489-40gbs-mellanox-infinityband Tue, 29 Oct 2019 15:30:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет, у меня тоже возникают некоторые трудности с этим. Рад, что несколько человек смогли заставить всё работать по инструкции выше, но у меня не вышло. Я настороженно отношусь к установке драйверов OFED из-за всего, что они творят с системой (автоматически удаляют кучу важных пакетов, например pve-manager?), поэтому мне довольно интересно узнать больше об этом процессе. У меня стоит карта connectx-2 VPI (dual QSFP, 40 Гбит IB и 10 Гбит Ethernet), которую я купил на eBay очень дешево, и я хочу понять, как их надолго поддержать в рабочем состоянии.

Меня особенно интересует, как у других это получилось, потому что у меня: а) драйверы не устанавливались, и казалось, что если бы установились, то всё равно сломали бы кучу важных пакетов; б) connectx_port_config не существует без установленных драйверов; в) mlxconfig, который идёт с MFT (который я успешно установил) и является альтернативным способом настройки режима, выдавала ошибку "unsupported device", как и у jw6677.
16.03.2020 21:09:00, ndroftheline.]]> http://proxmox.su/forum/messages/forum63/message348251/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348251/80489-40gbs-mellanox-infinityband Mon, 16 Mar 2020 21:09:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня несколько кластеров на Infiniband, которые работают с OFED и работают отлично. Если у вас в коммутаторе нет SM, установите opensmd хотя бы на двух узлах (один мастер, один слейв). Я предпочитаю больше использовать Mellanox OpenSM на самом коммутаторе, но также запускаю его на узле Proxmox для некоторых кластеров. Недавно Mellanox выпустил последние драйвера, так что с Proxmox 6.1 у вас проблем быть не должно.
30.12.2019 01:43:00, iconvergence.]]> http://proxmox.su/forum/messages/forum63/message348250/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348250/80489-40gbs-mellanox-infinityband Mon, 30 Dec 2019 01:43:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Думаю, драйверы для Infiniband всё ещё есть, но как любитель, я тоже столкнулся с трудностями при попытке что-то запустить без разных программных продуктов и прошивок от Mellanox. Наверняка ты заметил, что почти всё, что устанавливается от Mellanox, сначала пытается удалить уже имеющиеся компоненты — скорее всего, это родные решения Proxmox. В общем, без самого ПО (mst start и прочего), а единственный ресурс по Infiniband в форуме Proxmox (https://pve.proxmox.com/wiki/Infiniband), который я нашёл, совсем не решает эти вопросы, сделать что-то сложно. Что касается драйверов, я так и не смог полностью установить OFED, но, насколько я понял, в Proxmox уже есть почти всё, что нужно. Мне пришлось активировать кучу модулей и при этом OFED особо не потребовался — думаю, именно это и называют поддержкой Proxmox. Вот список модулей, которые я сейчас использую, не уверен, что все они нужны или что-то из этого вообще работает, но так у меня и получилось:

mst_pciconf  
mlx4_core  
mlx4_ib  
mlx4_en  
ib_ipoib  
ipoib_helper  
ib_addr  
ib_core  
ib_sa  
ib_mad  
ib_umad  
ib_uverbs  
ib_cm  
ib_ipoib  
ib_iser  
ib_isert  
ib_ucm  
ib_sdp

Ах да, и ещё понадобится: apt install opensm — это нужно для каждой подсети Infiniband, которую будешь запускать (по крайней мере, я так думаю). Вообще, воспринимай всё, что говорю, с долей скептицизма и тщательно проверяй информацию. Я делюсь, чтобы помочь, но на самом деле плохо разбираюсь в этом, так что всё перепроверяй.
27.12.2019 03:22:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348249/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348249/80489-40gbs-mellanox-infinityband Fri, 27 Dec 2019 03:22:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Спасибо за очень быстрый ответ. Это убрало часть ошибок, теперь у меня осталась проблема только с apt-get install linux-headers linux-headers-generic. Потом я выяснил, что для установки этих заголовочных файлов нужно выполнить команду apt-get install pve-headers-5.3.10-1-pve. Чтобы найти правильную версию, нужно выполнить uname -r. Сейчас mst запускается успешно:

root@pve:~/mft-4.13.3-6-x86_64-deb# mst start  
Starting MST (Mellanox Software Tools) driver set  
Loading MST PCI module - Success  
Loading MST PCI configuration module - Success  
Create devices  
Unloading MST PCI module (unused) - Success  

Теперь попробую установить драйвер, но это уже на завтра. Честно говоря, странно, что они убрали поддержку Mellanox — я думал, что это для Enterprise-систем?
27.12.2019 00:33:00, hsv.]]> http://proxmox.su/forum/messages/forum63/message348248/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348248/80489-40gbs-mellanox-infinityband Fri, 27 Dec 2019 00:33:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
О, у меня была такая же проблема, попробуй так: Код: # НЕ рекомендуется для использования в продакшене, может быть излишним, но у меня есть доступ к dkms, так что пусть будет здесь.
echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" >> /etc/apt/sources.list

# обновляем список пакетов
apt update

# устанавливаем недостающие пакеты — Обрати внимание, последний пакет отличается для proxmox по сравнению с тем, что требует MFT.
apt install gcc dkms pve-headers
27.12.2019 00:13:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348247/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348247/80489-40gbs-mellanox-infinityband Fri, 27 Dec 2019 00:13:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я только что скачал и установил версию 6.1.1, и хочу использовать Mellanox ConnectX 4 с двумя портами (MCX454A-FCAT). Но я не могу найти MST в системе, поэтому при запуске mst start получаю ответ: "mst: команда не найдена". Потом я скачал mst с сайта Mellanox и пытался его установить, но без успеха. Вот что получил:

root@pve:~/mft-4.13.3-6-x86_64-deb# ./install.sh
-E- Не хватает пакетов, необходимых для установки MFT.
-I- Вы можете установить недостающие пакеты командой:
apt-get install gcc dkms linux-headers linux-headers-generic

Когда я пытаюсь установить, как предложено, загрузить и установить все нужные пакеты не получается. GCC установлен, но остальные — нет.

Proxmox убрал поддержку Mellanox в версии 6.1.1 или это из-за отсутствия подписки?
27.12.2019 00:04:00, hsv.]]> http://proxmox.su/forum/messages/forum63/message348246/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348246/80489-40gbs-mellanox-infinityband Fri, 27 Dec 2019 00:04:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, предоставьте текст для перевода.
26.12.2019 23:52:00, hsv.]]> http://proxmox.su/forum/messages/forum63/message348245/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348245/80489-40gbs-mellanox-infinityband Thu, 26 Dec 2019 23:52:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Меня удивляет, что здесь так много обсуждений. Подход, который я описал ещё в августе, отлично сработал для меня — простой crontab при загрузке на любой машине с этим устройством позволяет ему отображаться как обычный сетевой адаптер. Я использовал это для прямого подключения к серверу хранения данных несколько месяцев, и всё работало без проблем после настройки. Совет на будущее — если хотите использовать свитч, убедитесь, что он управляемый, потому что некоторые работают только в режиме infinityband и не поддерживают Ethernet.
14.12.2019 22:15:00, Proper.]]> http://proxmox.su/forum/messages/forum63/message348244/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348244/80489-40gbs-mellanox-infinityband Sat, 14 Dec 2019 22:15:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Что ж, раз я случайно превратил это в рабочий дневник, думаю, продолжу. opensm --create-config /etc/opensm/opensm.conf создал мне файл конфигурации, с которым можно работать. Внутри я выставил GUID, чтобы он совпадал с портовым GUID, который получил из ibstatus. Запустил `opensm` — и бац! Статус порта 1 устройства Infiniband 'mlx4_0':  
default gid:     fe80:0000:0000:0000:0002:c903:000c:4991  
base lid:        0x3  
sm lid:          0x3  
state: 4: ACTIVE  
phys state:      5: LinkUp  
rate:            40 Gb/sec (4X QDR)  
link_layer:      InfiniBand  

Так что прогресс есть, хотя я явно не понимаю, что делаю — но это нормально. Запустил оба устройства, создав дополнительный конфиг (по инструкции отсюда: https://lists.openfabrics.org/pipermail/ewg/2015-February/018341.html. Если вы читаете это в будущем, и ссылка не работает, смотрите archive.org).

Теперь надо понять, как заставить proxmox распознать эти подключения...
08.11.2019 00:09:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348243/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348243/80489-40gbs-mellanox-infinityband Fri, 08 Nov 2019 00:09:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, мне удалось заставить ibstatus показать, что связь между двумя устройствами установлена!  

InfiniBand устройство 'mlx4_0', порт 1, статус: default  
gid: fe80:0000:0000:0000:0002:c903:000c:4991  
base lid: 0x3  
sm lid: 0x3  
state: 2: INIT  
phys state: 5: LinkUp  
rate: 40 Гбит/с (4X QDR)  
link_layer: InfiniBand  

InfiniBand устройство 'mlx4_1', порт 1, статус: default  
gid: fe80:0000:0000:0000:0002:c903:000c:4585  
base lid: 0x0  
sm lid: 0x0  
state: 2: INIT  
phys state: 5: LinkUp  
rate: 40 Гбит/с (4X QDR)  
link_layer: InfiniBand  

Наверное, это самое захватывающее событие за всю неделю. Но, как настоящий «человек с миссией», у меня есть цель, но нет карты. Честно говоря, я не совсем понимаю, что дальше делать, чтобы эти устройства Proxmox нормально общались друг с другом через эти подключения. Вижу устройства в разделе сетей Proxmox, но настройка для меня пока туманна.  

Вот моя карта сети, не обращайте внимания на всю эту Ethernet-часть (да, в миниатюре это выглядит забавно)  

07.11.2019 23:47:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348242/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348242/80489-40gbs-mellanox-infinityband Thu, 07 Nov 2019 23:47:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, SourCheeks. Да, только Infiniband. Я собираюсь разобраться с этим, посмотреть, что смогу выяснить. Но точно не помешала бы более конкретная помощь. Я думал, что OpenSM уже встроен в карты, это моя ошибка (всё ещё учусь). Пытался напрямую соединить два компьютера, но складывается впечатление, что, может, всё-таки стоит купить Infiniband-свитч? У меня три машины: два (довольно старых) сервера и один настольный компьютер, который я хотел бы подключить. То есть, старенький, но ещё вполне пригодный десктоп — у меня много старого хлама, который пока просто собирает пыль. Лучший сервер оснащён двумя картами connectx-2, у каждой по одному порту Infiniband, на двух остальных машинах — по одной такой же карте. Честно говоря, Proxmox и сети — это то, чему я надеюсь научиться в процессе, так что с решениями, похожими на Infiniband, я пока новичок. Планирую копаться в OFED, и любая помощь в моём подходе будет очень кстати.
07.11.2019 16:28:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348241/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348241/80489-40gbs-mellanox-infinityband Thu, 07 Nov 2019 16:28:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если у вас карта только для infiniband, то это не сработает, но, возможно, вы сможете перепрошить устройство другим ПО. Правда, я в этом не эксперт. Команда для переключения портов в режим Ethernet работает, если у вас MCX354A-FCBT.
07.11.2019 09:21:00, SourCheeks.]]> http://proxmox.su/forum/messages/forum63/message348240/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348240/80489-40gbs-mellanox-infinityband Thu, 07 Nov 2019 09:21:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вау, это прошло на удивление гладко. Не понимаю, почему я так сильно мучился. У меня на картах вообще нет ethernet-портов, только infiniband. Значит, я правильно понимаю, что переключаться в ethernet-режим между двумя такими картами (на разных физических машинах, да?) не нужно? На самом деле, ethernet-режим, наверное, даже может создать проблемы? ИЗМЕНЕНИЕ: Забудь всё, снова в тупике. Кажется, моё устройство слишком старое и не поддерживается? root@server:/etc# mlxconfig -d /dev/mst/mt26428_pci_cr1 query -E- Unsupported device :'(
07.11.2019 03:26:00, jw6677.]]> http://proxmox.su/forum/messages/forum63/message348239/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348239/80489-40gbs-mellanox-infinityband Thu, 07 Nov 2019 03:26:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня в кластере PVE стоят такие же сетевые карты. У меня их вообще четыре (MCX354A-FCBT). Советую скачать не драйверы с сайта Mellanox, а их утилиту для прошивки, тогда можно навсегда настроить карту на работу только в Ethernet-режиме. Код:  
#https://www.mellanox.com/page/management_tools  
#http://www.mellanox.com/downloads/MFT/mft-4.13.0-104-x86_64-deb.tgz  

#запуск службы mst  
mst start  

#узнать ID устройства для следующего шага  
mst status  

#переключить оба порта только на Ethernet, вместо device ID подставьте свой  
mlxconfig -d /dev/mst/mt4099_pci_cr0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2  

Я видел эту инфу на другом форуме, но не уверен, можно ли выкладывать ссылки на чужие площадки, так что если надо — пиши в личку.
05.11.2019 02:40:00, SourCheeks.]]> http://proxmox.su/forum/messages/forum63/message348238/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348238/80489-40gbs-mellanox-infinityband Tue, 05 Nov 2019 02:40:00 +0300 Proxmox Виртуальная Среда 40gbs Mellanox Infinityband Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я сделал всё возможное, чтобы найти похожие проблемы, но не нашёл ничего, что помогло бы решить этот вопрос. Я пытаюсь настроить прямое подключение Mellanox на 40 Gb к серверу хранения данных. Купил несколько таких устройств и приведу модель ниже. После большого количества исследований у меня получилось запустить устройство на стороне FreeNAS, теперь нужно сделать то же самое для Proxmox.

Устройства, которые я использую: MCX354A-FCBT MELLANOX CONNECTX-3 INFINIBAND 40GBE/56GBE DUAL QSFP+FDR CX354A
Версия Proxmox: 6.0-4

Proxmox видит сетевой адаптер в списке, но он остаётся неактивным, статус "Active показывает: No". Я создал мост в Proxmox и физически подключил устройство к FreeNAS, но оно осталось неактивным.

У меня мало опыта с Infiniband, поэтому думаю, что что-то упускаю. На FreeNAS эти устройства нужно инициализировать как Ethernet.

Другой вариант — проблема в кабелях, я использую QSFP+ to QSFP+ DAC, пассивный, 1 метр, AWG30.

Обязательно обновлю эту тему с решением, если найду его. Буду очень признателен за помощь!
20.08.2019 22:38:00, Proper.]]> http://proxmox.su/forum/messages/forum63/message348237/80489-40gbs-mellanox-infinityband http://proxmox.su/forum/messages/forum63/message348237/80489-40gbs-mellanox-infinityband Tue, 20 Aug 2019 22:38:00 +0300 Proxmox Виртуальная Среда