Привет, мой сервер PVE-6.3-6 основан на Supermicro X11SCA-F и Intel Xeon E-2246G, он передает SATA-контроллер в одну виртуальную машину и Nvidia GTX 1060 в другую. Я пытаюсь установить Mellanox ConnectX-3 без passthrough и создать 10-гиговый мост для моих ВМ в Proxmox. К сожалению, похоже, что я каким-то образом блокирую загрузку драйвера mellanox, по крайней мере, вот этот вывод lspci -nnv: Код: [...]
00:17.0 SATA контроллер [0106]: Intel Corporation Cannon Lake PCH SATA AHCI Controller [8086:a352] (rev 10) (prog-if 01 [AHCI 1.0])
Субсистема: Super Micro Computer Inc Cannon Lake PCH SATA AHCI Controller [15d9:1a1d]
Флаги: мастер шины, 66MHz, средний devsel, задержка 0, IRQ 156
Память на 91234000 (32-бит, не кешируемая) [размер=8K]
Память на 9123b000 (32-бит, не кешируемая) [размер=256]
Порты ввода-вывода на 6050 [размер=8]
Порты ввода-вывода на 6040 [размер=4]
Порты ввода-вывода на 6020 [размер=32]
Память на 9123a000 (32-бит, не кешируемая) [размер=2K]
Возможности: [80] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит-
Возможности: [70] Управление питанием версия 3
Возможности: [a8] SATA HBA v1.0
Драйвер ядра в использовании: vfio-pci
Модули ядра: ahci
[...]
01:00.0 VGA совместимый контроллер [0300]: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:1c03] (rev a1) (prog-if 00 [VGA controller])
Субсистема: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 164
Память на 92000000 (32-бит, не кешируемая) [размер=16M]
Память на b0000000 (64-бит, кешируемая) [размер=256M]
Память на c0000000 (64-бит, кешируемая) [размер=32M]
Порты ввода-вывода на 5000 [размер=128]
Расширенный ROM на 93000000 [отключен] [размер=512K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Legacy Endpoint, MSI 00
Возможности: [100] Виртуальный канал
Возможности: [250] Отчет о допустимости задержки
Возможности: [128] Бюджетирование энергии <?>
Возможности: [420] Расширенная отчетность об ошибках
Возможности: [600] Информация, специфичная для продавца: ID=0001 Rev=1 Len=024 <?>
Возможности: [900] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: nvidiafb, nouveau, nvidia_current_drm, nvidia_current
01:00.1 Аудиоустройство [0403]: NVIDIA Corporation GP106 High Definition Audio Controller [10de:10f1] (rev a1)
Субсистема: NVIDIA Corporation GP106 High Definition Audio Controller [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 17
Память на 93080000 (32-бит, не кешируемая) [размер=16K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено- Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Endpoint, MSI 00
Возможности: [100] Расширенная отчетность об ошибках
Драйвер ядра в использовании: vfio-pci
Модули ядра: snd_hda_intel
02:00.0 Ethernet контроллер [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003]
Субсистема: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:0055]
Флаги: быстрый devsel, IRQ 17
Память на 93300000 (64-бит, не кешируемая) [отключена] [размер=1M]
Память на c2800000 (64-бит, кешируемая) [отключена] [размер=8M]
Расширенный ROM на 93200000 [отключен] [размер=1M]
Возможности: [40] Управление питанием версия 3
Возможности: [48] Важные данные о продукте
Возможности: [9c] MSI-X: Включено- Количество=128 Маскируемые-
Возможности: [60] Express Endpoint, MSI 00
Возможности: [c0] Информация, специфичная для продавца: Len=18 <?>
Возможности: [100] Альтернативная интерпретация идентификатора маршрутизации (ARI)
Возможности: [148] Серийный номер устройства f4-52-14-03-00-84-14-20
Возможности: [154] Расширенная отчетность об ошибках
Возможности: [18c] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: mlx4_core
[...] Как видно, "Драйвер ядра в использовании:" это vfio-pci. Мой файл /etc/modprobe.d/pve-blacklist.conf выглядит так: Код: # Этот файл содержит список модулей, которые не поддерживаются Proxmox VE
# nidiafb смотрите отчет об ошибке
## NVIDIA
черный список nvidia
черный список nouveau
## INTEL
черный список snd_hda_intel
#черный список snd_hda_codec_hdmi
#черный список i915 в других файлах /etc/modprobe.d/ нет никаких записей черного списка. Так что похоже, что блокировка nvidia блокирует загрузку драйвера mellanox? Может кто-то это подтвердить? Или мне нужно установить другие драйверы? *редактирование: я нашел, по крайней мере, часть проблемы. Поскольку видеокарта Nvidia и сетевой адаптер Mellanox находятся в двух соседних слотах PCIe-16x, которые делят пропускную способность на 2 8x канала, они попадают в одну и ту же группу immu 1. Сразу после загрузки "Драйвер ядра в использовании:" это mlx4_core, но как только запускается ВМ с видеокартой NVIDIA, он меняется на vfio-pci. Это будет сложно...
00:17.0 SATA контроллер [0106]: Intel Corporation Cannon Lake PCH SATA AHCI Controller [8086:a352] (rev 10) (prog-if 01 [AHCI 1.0])
Субсистема: Super Micro Computer Inc Cannon Lake PCH SATA AHCI Controller [15d9:1a1d]
Флаги: мастер шины, 66MHz, средний devsel, задержка 0, IRQ 156
Память на 91234000 (32-бит, не кешируемая) [размер=8K]
Память на 9123b000 (32-бит, не кешируемая) [размер=256]
Порты ввода-вывода на 6050 [размер=8]
Порты ввода-вывода на 6040 [размер=4]
Порты ввода-вывода на 6020 [размер=32]
Память на 9123a000 (32-бит, не кешируемая) [размер=2K]
Возможности: [80] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит-
Возможности: [70] Управление питанием версия 3
Возможности: [a8] SATA HBA v1.0
Драйвер ядра в использовании: vfio-pci
Модули ядра: ahci
[...]
01:00.0 VGA совместимый контроллер [0300]: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:1c03] (rev a1) (prog-if 00 [VGA controller])
Субсистема: NVIDIA Corporation GP106 [GeForce GTX 1060 6GB] [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 164
Память на 92000000 (32-бит, не кешируемая) [размер=16M]
Память на b0000000 (64-бит, кешируемая) [размер=256M]
Память на c0000000 (64-бит, кешируемая) [размер=32M]
Порты ввода-вывода на 5000 [размер=128]
Расширенный ROM на 93000000 [отключен] [размер=512K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено+ Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Legacy Endpoint, MSI 00
Возможности: [100] Виртуальный канал
Возможности: [250] Отчет о допустимости задержки
Возможности: [128] Бюджетирование энергии <?>
Возможности: [420] Расширенная отчетность об ошибках
Возможности: [600] Информация, специфичная для продавца: ID=0001 Rev=1 Len=024 <?>
Возможности: [900] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: nvidiafb, nouveau, nvidia_current_drm, nvidia_current
01:00.1 Аудиоустройство [0403]: NVIDIA Corporation GP106 High Definition Audio Controller [10de:10f1] (rev a1)
Субсистема: NVIDIA Corporation GP106 High Definition Audio Controller [10de:11d7]
Флаги: мастер шины, быстрый devsel, задержка 0, IRQ 17
Память на 93080000 (32-бит, не кешируемая) [размер=16K]
Возможности: [60] Управление питанием версия 3
Возможности: [68] MSI: Включено- Количество=1/1 Маскируемый- 64-бит+
Возможности: [78] Express Endpoint, MSI 00
Возможности: [100] Расширенная отчетность об ошибках
Драйвер ядра в использовании: vfio-pci
Модули ядра: snd_hda_intel
02:00.0 Ethernet контроллер [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003]
Субсистема: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:0055]
Флаги: быстрый devsel, IRQ 17
Память на 93300000 (64-бит, не кешируемая) [отключена] [размер=1M]
Память на c2800000 (64-бит, кешируемая) [отключена] [размер=8M]
Расширенный ROM на 93200000 [отключен] [размер=1M]
Возможности: [40] Управление питанием версия 3
Возможности: [48] Важные данные о продукте
Возможности: [9c] MSI-X: Включено- Количество=128 Маскируемые-
Возможности: [60] Express Endpoint, MSI 00
Возможности: [c0] Информация, специфичная для продавца: Len=18 <?>
Возможности: [100] Альтернативная интерпретация идентификатора маршрутизации (ARI)
Возможности: [148] Серийный номер устройства f4-52-14-03-00-84-14-20
Возможности: [154] Расширенная отчетность об ошибках
Возможности: [18c] #19
Драйвер ядра в использовании: vfio-pci
Модули ядра: mlx4_core
[...] Как видно, "Драйвер ядра в использовании:" это vfio-pci. Мой файл /etc/modprobe.d/pve-blacklist.conf выглядит так: Код: # Этот файл содержит список модулей, которые не поддерживаются Proxmox VE
# nidiafb смотрите отчет об ошибке
## NVIDIA
черный список nvidia
черный список nouveau
## INTEL
черный список snd_hda_intel
#черный список snd_hda_codec_hdmi
#черный список i915 в других файлах /etc/modprobe.d/ нет никаких записей черного списка. Так что похоже, что блокировка nvidia блокирует загрузку драйвера mellanox? Может кто-то это подтвердить? Или мне нужно установить другие драйверы? *редактирование: я нашел, по крайней мере, часть проблемы. Поскольку видеокарта Nvidia и сетевой адаптер Mellanox находятся в двух соседних слотах PCIe-16x, которые делят пропускную способность на 2 8x канала, они попадают в одну и ту же группу immu 1. Сразу после загрузки "Драйвер ядра в использовании:" это mlx4_core, но как только запускается ВМ с видеокартой NVIDIA, он меняется на vfio-pci. Это будет сложно...
