+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Mellanox ConnectX-3 VFs застряли в одной и той же группе SR-IOV, Proxmox Виртуальная Среда

Mr.Goodcat

Guest

08.02.2020 16:39:00

Привет, я пытаюсь настроить SR-IOV в Proxmox (следовал инструкции по включению SR-IOV: PCI(e) Passthrough - Proxmox VE), но все время получаю все виртуальные функции (настроенные напрямую в прошивке карты ConnectX-3 И в /etc/modprobe.d/) заблокированными в одной и той же группе IOMMU. Переключение слотов PCIe тоже не помогло. Код: dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
[ 3.460271] pci 0000:c0:00.2: AMD-Vi: поддерживаются счетчики производительности IOMMU
[ 3.460326] pci 0000:80:00.2: AMD-Vi: поддерживаются счетчики производительности IOMMU
[ 3.460361] pci 0000:40:00.2: AMD-Vi: поддерживаются счетчики производительности IOMMU
[ 3.460384] pci 0000:00:00.2: AMD-Vi: поддерживаются счетчики производительности IOMMU
[ 3.555920] pci 0000:c0:00.2: AMD-Vi: найдена IOMMU cap 0x40
[ 3.555922] pci 0000:c0:00.2: AMD-Vi: Расширенные функции (0x58f77ef22294ade):
[ 3.555927] pci 0000:80:00.2: AMD-Vi: найдена IOMMU cap 0x40
[ 3.555929] pci 0000:80:00.2: AMD-Vi: Расширенные функции (0x58f77ef22294ade):
[ 3.555933] pci 0000:40:00.2: AMD-Vi: найдена IOMMU cap 0x40
[ 3.555934] pci 0000:40:00.2: AMD-Vi: Расширенные функции (0x58f77ef22294ade):
[ 3.555938] pci 0000:00:00.2: AMD-Vi: найдена IOMMU cap 0x40
[ 3.555939] pci 0000:00:00.2: AMD-Vi: Расширенные функции (0x58f77ef22294ade):
[ 3.555943] AMD-Vi: Включено перенаправление прерываний
[ 3.555944] AMD-Vi: Виртуальный APIC включен
[ 3.555945] AMD-Vi: Включен X2APIC
[ 3.556605] AMD-Vi: Включено ленивое управление IO/TLB
[ 3.561685] perf/amd_iommu: Обнаружен AMD IOMMU #0 (2 банка, 4 счетчика/банк).
[ 3.561765] perf/amd_iommu: Обнаружен AMD IOMMU #1 (2 банка, 4 счетчика/банк).
[ 3.561850] perf/amd_iommu: Обнаружен AMD IOMMU #2 (2 банка, 4 счетчика/банк).
[ 3.561932] perf/amd_iommu: Обнаружен AMD IOMMU #3 (2 банка, 4 счетчика/банк). Код: mlxconfig -d /dev/mst/mt4099_pci_cr0 q

Устройство #1:
----------

Тип устройства: ConnectX3
Устройство: /dev/mst/mt4099_pci_cr0

Конфигурации: Следующая загрузка
SRIOV_EN True(1)
NUM_OF_VFS 24
LINK_TYPE_P1 ETH(2)
LINK_TYPE_P2 ETH(2)
LOG_BAR_SIZE 3
BOOT_PKEY_P1 0
BOOT_PKEY_P2 0
BOOT_OPTION_ROM_EN_P1 False(0)
BOOT_VLAN_EN_P1 False(0)
BOOT_RETRY_CNT_P1 0
LEGACY_BOOT_PROTOCOL_P1 None(0)
BOOT_VLAN_P1 1
BOOT_OPTION_ROM_EN_P2 False(0)
BOOT_VLAN_EN_P2 False(0)
BOOT_RETRY_CNT_P2 0
LEGACY_BOOT_PROTOCOL_P2 None(0)
BOOT_VLAN_P2 1
IP_VER_P1 IPv4(0)
IP_VER_P2 IPv4(0)
CQ_TIMESTAMP True(1) Код: 41:00.0 Ethernet controller [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003]
Подсистема: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:0050]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 122, узел NUMA 0
Память на b0400000 (64-бит, не предзагружаемая) [размер=1M]
Память на 2807f800000 (64-бит, предзагружаемая) [размер=8M]
Расширенная ROM на b0300000 [отключена] [размер=1M]
Возможности: [40] Уровень управления энергией версия 3
Возможности: [48] Важные данные о продукте
Возможности: [9c] MSI-X: Включить+ Счет=128 Замаскированный-
Возможности: [60] Express Endpoint, MSI 00
Возможности: [c0] Специальная информация от производителя: Len=18 <?>
Возможности: [100] Альтернативная интерпретация идентификатора маршрутизации (ARI)
Возможности: [148] Серийный номер устройства 00-02-c9-03-00-40-c8-f0
Возможности: [154] Расширенная отчетность об ошибках
Возможности: [18c] #19
Возможности: [108] Виртуализация ввода-вывода одного корня (SR-IOV)
Драйвер ядра в использовании: mlx4_core
Модули ядра: mlx4_core

41:00.1 Ethernet controller [0200]: Mellanox Technologies MT27500/MT27520 Family [ConnectX-3/ConnectX-3 Pro Virtual Function] [15b3:1004]
Подсистема: Mellanox Technologies MT27500/MT27520 Family [ConnectX-3/ConnectX-3 Pro Virtual Function] [15b3:61b0]
Флаги: быстрый devsel, узел NUMA 0
[виртуальная] Память на 28073800000 (64-бит, предзагружаемая) [размер=8M]
Возможности: [60] Express Endpoint, MSI 00
Возможности: [9c] MSI-X: Включить- Счет=36 Замаскированный-
Возможности: [40] Уровень управления энергией версия 0
Модули ядра: mlx4_core Попытка запустить VM с одной из VFs завершилась неудачей, в результате чего в dmesg появились следующие записи: Код: mlx4_en 0000:41:00.0: удален PHC
mlx4_core 0000:41:00.0: Отключение SR-IOV
pci 0000:41:00.1: Удаление из группы iommu 48
pci 0000:41:00.2: Удаление из группы iommu 48
pci 0000:41:00.3: Удаление из группы iommu 48
pci 0000:41:00.4: Удаление из группы iommu 48
pci 0000:41:00.5: Удаление из группы iommu 48
pci 0000:41:00.6: Удаление из группы iommu 48
pci 0000:41:00.7: Удаление из группы iommu 48
pci 0000:41:01.0: Удаление из группы iommu 48
pci 0000:41:01.1: Удаление из группы iommu 48
pci 0000:41:01.2: Удаление из группы iommu 48
pci 0000:41:01.3: Удаление из группы iommu 48
pci 0000:41:01.4: Удаление из группы iommu 48
pci 0000:41:01.5: Удаление из группы iommu 48
pci 0000:41:01.6: Удаление из группы iommu 48
pci 0000:41:01.7: Удаление из группы iommu 48
pci 0000:41:02.0: Удаление из группы iommu 48
pci 0000:41:02.1: Удаление из группы iommu 48
pci 0000:41:02.2: Удаление из группы iommu 48
pci 0000:41:02.3: Удаление из группы iommu 48
pci 0000:41:02.4: Удаление из группы iommu 48
pci 0000:41:02.5: Удаление из группы iommu 48
pci 0000:41:02.6: Удаление из группы iommu 48
pci 0000:41:02.7: Удаление из группы iommu 48
pci 0000:41:03.0: Удаление из группы iommu 48 В целом это довольно похоже на: https://forum.proxmox.com/threads/pve-5-0-beta-2-mellanox-connectx-3-and-sr-iov.35103/ Моя конфигурация Proxmox 6.1-5 (Ядро: 5.3.13-2) Supermicro H11SSL AMD Epyc 7502 Mellanox ConnectX-3 Буду благодарен за помощь =D

VeganBiker Guest	#2 0 22.03.2022 01:13:00 Привет, я на материнской плате Supermicro H12 с AMD EPYC 7262, у меня такая же проблема. У меня нет инженерного образца, можешь быть более конкретным по поводу микрокода?

Mr.Goodcat Guest	#3 0 22.03.2022 11:29:00 Привет, я продал ЦП и больше ничего не знаю. Проблема исчезла после перехода на розничный 7452. Попробуй обновить BIOS, чтобы быть уверенным.

zhuzhuxia

Guest

26.08.2022 08:26:00

Привет, есть такая же проблема с материнской платой H12SSL-i и процессором Epyc 7302, а также виртуальными функциями сетевых карт MCX5. Ссылаясь на несколько случаев, возможно, причина в поддержке ACS. В руководстве пользователя H12SSL-i указана опция включения ACS (BIOS -> Дополнительно -> Конфигурация NB -> Включение ACS), но я не нашел её. Возможно, процессор Epyc 7302 не поддерживает ACS. Так что, есть ли у вашего BIOS материнской платы H12-SSL эта опция?

VeganBiker

Guest

26.08.2022 16:26:00

Привет, на самом деле я это решил, так как нужно сначала изменить другую настройку BIOS. В итоге я переключился на свою карту Intel из-за особенностей работы карты с двумя портами. В любом случае, опция ACS не появится, если не настроить другую настройку BIOS.

zhuzhuxia Guest	#6 0 05.09.2022 04:53:00 Думаю, это очень полезно!!!

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры