ConnectX-3 с (Nvidia-)PCIe-Passthrough

Fri, 25 Nov 2022 17:15:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня нет таких настроек в BIOS. Я заставил это работать, поставив одну из карт (которая была передана) в другой слот PCIe, что привело к созданию другой группы IOMMU.
25.11.2022 17:15:00, Finbester.

ConnectX-3 с (Nvidia-)PCIe-Passthrough

Fri, 25 Nov 2022 17:04:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
подумав об этом еще немного, я думаю, что также играл с настройками биферкации PCIe в BIOS.
25.11.2022 17:04:00, RockNLol.

ConnectX-3 с (Nvidia-)PCIe-Passthrough

Fri, 25 Nov 2022 16:45:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, спасибо. Ты помог мне сузить круг моей проблемы.
25.11.2022 16:45:00, Finbester.

ConnectX-3 с (Nvidia-)PCIe-Passthrough

Fri, 25 Nov 2022 16:38:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, я заставил это работать, но не помню, что именно помогло в конце. Помню, что обновлял BIOS. Сейчас у меня больше нет установленной NVIDIA GPU, так что, к сожалению, не могу сильно помочь.
25.11.2022 16:38:00, RockNLol.

ConnectX-3 с (Nvidia-)PCIe-Passthrough

Fri, 25 Nov 2022 16:24:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ты решил проблему? У меня такая же беда.
25.11.2022 16:24:00, Finbester.

ConnectX-3 с (Nvidia-)PCIe-Passthrough

Thu, 25 Mar 2021 21:38:00 +0300

ConnectX-3 с (Nvidia-)PCIe-Passthrough Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, мой сервер PVE-6.3-6 основан на Supermicro X11SCA-F и Intel Xeon E-2246G, он передает SATA-контроллер в одну виртуальную машину и Nvidia GTX 1060 в другую. Я пытаюсь установить Mellanox ConnectX-3 без passthrough и создать 10-гиговый мост для моих ВМ в Proxmox. К сожалению, похоже, что я каким-то образом блокирую загрузку драйвера mellanox, по крайней мере, вот этот вывод lspci -nnv: Код: [...]

00:17.0 SATA контроллер [0106]: Intel Corporation Cannon Lake PCH SATA AHCI Controller [8086:a352] (rev 10) (prog-if 01 [AHCI 1.0])
Субсистема: Super Micro Computer Inc Cannon Lake PCH SATA AHCI Controller [15d9:1a1d]
Флаги: мастер шины, 66MHz, средний devsel, задержка 0, IRQ 156
Память на 91234000 (32-бит, не кешируемая) [размер=8K]
Память на 9123b000 (32-бит, не кешируемая) [размер=256]
Порты ввода-вывода на 6050 [размер=8]
Порты ввода-вывода на 6040 [размер=4]
Порты ввода-вывода на 6020 [размер=32]
Память на 9123a000 (32-бит, не кешируемая) [размер=2K]
Возможности: [80] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит-
Возможности: [70] Управление питанием версия 3
Возможности: [a8] SATA HBA v1.0
Драйвер ядра в использовании: vfio-pci
Модули ядра: ahci

[...]

01:00.0 VGA совместимый контроллер [0300]: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:1c03] (rev a1) (prog-if 00 [VGA controller])
Субсистема: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 164
Память на 92000000 (32-бит, не кешируемая) [размер=16M]
Память на b0000000 (64-бит, кешируемая) [размер=256M]
Память на c0000000 (64-бит, кешируемая) [размер=32M]
Порты ввода-вывода на 5000 [размер=128]
Расширенный ROM на 93000000 [отключен] [размер=512K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Legacy Endpoint, MSI 00
Возможности: [100] Виртуальный канал
Возможности: [250] Отчет о допустимости задержки
Возможности: [128] Бюджетирование энергии
Возможности: [420] Расширенная отчетность об ошибках
Возможности: [600] Информация, специфичная для продавца: ID=0001 Rev=1 Len=024
Возможности: [900] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: nvidiafb, nouveau, nvidia_current_drm, nvidia_current

01:00.1 Аудиоустройство [0403]: NVIDIA Corporation GP106 High Definition Audio Controller [10de:10f1] (rev a1)
Субсистема: NVIDIA Corporation GP106 High Definition Audio Controller [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 17
Память на 93080000 (32-бит, не кешируемая) [размер=16K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено- Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Endpoint, MSI 00
Возможности: [100] Расширенная отчетность об ошибках
Драйвер ядра в использовании: vfio-pci
Модули ядра: snd_hda_intel

02:00.0 Ethernet контроллер [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003]
Субсистема: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:0055]
Флаги: быстрый devsel, IRQ 17
Память на 93300000 (64-бит, не кешируемая) [отключена] [размер=1M]
Память на c2800000 (64-бит, кешируемая) [отключена] [размер=8M]
Расширенный ROM на 93200000 [отключен] [размер=1M]
Возможности: [40] Управление питанием версия 3
Возможности: [48] Важные данные о продукте
Возможности: [9c] MSI-X: Включено- Количество=128 Маскируемые-
Возможности: [60] Express Endpoint, MSI 00
Возможности: [c0] Информация, специфичная для продавца: Len=18
Возможности: [100] Альтернативная интерпретация идентификатора маршрутизации (ARI)
Возможности: [148] Серийный номер устройства f4-52-14-03-00-84-14-20
Возможности: [154] Расширенная отчетность об ошибках
Возможности: [18c] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: mlx4_core

[...] Как видно, "Драйвер ядра в использовании:" это vfio-pci. Мой файл /etc/modprobe.d/pve-blacklist.conf выглядит так: Код: # Этот файл содержит список модулей, которые не поддерживаются Proxmox VE

# nidiafb смотрите отчет об ошибке https://bugzilla.proxmox.com/show_bug.cgi?id=701

## NVIDIA
черный список nvidia
черный список nouveau

## INTEL
черный список snd_hda_intel
#черный список snd_hda_codec_hdmi
#черный список i915 в других файлах /etc/modprobe.d/ нет никаких записей черного списка. Так что похоже, что блокировка nvidia блокирует загрузку драйвера mellanox? Может кто-то это подтвердить? Или мне нужно установить другие драйверы? *редактирование: я нашел, по крайней мере, часть проблемы. Поскольку видеокарта Nvidia и сетевой адаптер Mellanox находятся в двух соседних слотах PCIe-16x, которые делят пропускную способность на 2 8x канала, они попадают в одну и ту же группу immu 1. Сразу после загрузки "Драйвер ядра в использовании:" это mlx4_core, но как только запускается ВМ с видеокартой NVIDIA, он меняется на vfio-pci. Это будет сложно...
25.03.2021 21:38:00, RockNLol.

Аспро: ЛайтШоп [тема: ConnectX-3 с (Nvidia-)PCIe-Passthrough]

ConnectX-3 с (Nvidia-)PCIe-Passthrough

ConnectX-3 с (Nvidia-)PCIe-Passthrough

ConnectX-3 с (Nvidia-)PCIe-Passthrough

ConnectX-3 с (Nvidia-)PCIe-Passthrough

ConnectX-3 с (Nvidia-)PCIe-Passthrough

ConnectX-3 с (Nvidia-)PCIe-Passthrough