Привет всем! У меня возникла проблема с настройкой Proxmox, где мои GPU устройства остаются в одной IOMMU группе из-за аппаратного разделения на материнской плате. Это мешает мне изолировать их должным образом для использования в разных VM.
Детали системы:
Материнская плата: Gigabyte G292-Z20
GPU: Nvidia RTX A4000
Группировка IOMMU:
Несмотря на мои усилия, GPU группируются вместе в IOMMU Group 0.
Вот вывод:
```
IOMMU Group 0 c0:01.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 0 c0:01.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 0 c1:00.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c1:00.1 Memory controller [0580]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c2:00.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c2:01.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c3:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA104GL [RTX A4000] [10de:24b0] (rev a1)
IOMMU Group 0 c3:00.1 Audio device [0403]: NVIDIA Corporation GA104 High Definition Audio Controller [10de:228b] (rev a1)
IOMMU Group 0 c4:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA104GL [RTX A4000] [10de:24b0] (rev a1)
IOMMU Group 0 c4:00.1 Audio device [0403]: NVIDIA Corporation GA104 High Definition Audio Controller [10de:228b] (rev a1)
```
Конфигурация GRUB:
Вот моя текущая конфигурация GRUB:
```
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX="quiet amd_iommu=on pci_acs_override=downstream,multifunction"
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on pci_acs_override=downstream,multifunction"
```
Конфигурация материнской платы:
IOMMU: Включен
ARI Support: Отключен
ACS: Не отображается в BIOS, но упоминается в руководстве (рассматриваю возможность обратной установки BIOS)
Дата сборки: 08/03/2021
Версия прошивки: R22
Ошибка:
При попытке запуска обеих VM на двух GPU, которые находятся в одной группе, я сталкиваюсь со следующим сообщением об ошибке:
```
kvm: -device vfio-pci,host=0000:c4:00.0,id=hostpci0,bus=pci.0,addr=0x10,rombar=0: vfio 0000:c4:00.0: failed to open /dev/vfio/0: Device or resource busy
TASK ERROR: start failed: QEMU exited with code 1
```
Буду признателен за любую помощь или предложения по устранению этой проблемы и достижению правильного разделения GPU устройств в разные IOMMU группы.
Спасибо всем!
Детали системы:
Материнская плата: Gigabyte G292-Z20
GPU: Nvidia RTX A4000
Группировка IOMMU:
Несмотря на мои усилия, GPU группируются вместе в IOMMU Group 0.
Вот вывод:
```
IOMMU Group 0 c0:01.0 Host bridge [0600]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge [1022:1482]
IOMMU Group 0 c0:01.1 PCI bridge [0604]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge [1022:1483]
IOMMU Group 0 c1:00.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c1:00.1 Memory controller [0580]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c2:00.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c2:01.0 PCI bridge [0604]: PMC-Sierra Inc. Device [11f8:4052]
IOMMU Group 0 c3:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA104GL [RTX A4000] [10de:24b0] (rev a1)
IOMMU Group 0 c3:00.1 Audio device [0403]: NVIDIA Corporation GA104 High Definition Audio Controller [10de:228b] (rev a1)
IOMMU Group 0 c4:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA104GL [RTX A4000] [10de:24b0] (rev a1)
IOMMU Group 0 c4:00.1 Audio device [0403]: NVIDIA Corporation GA104 High Definition Audio Controller [10de:228b] (rev a1)
```
Конфигурация GRUB:
Вот моя текущая конфигурация GRUB:
```
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX="quiet amd_iommu=on pci_acs_override=downstream,multifunction"
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on pci_acs_override=downstream,multifunction"
```
Конфигурация материнской платы:
IOMMU: Включен
ARI Support: Отключен
ACS: Не отображается в BIOS, но упоминается в руководстве (рассматриваю возможность обратной установки BIOS)
Дата сборки: 08/03/2021
Версия прошивки: R22
Ошибка:
При попытке запуска обеих VM на двух GPU, которые находятся в одной группе, я сталкиваюсь со следующим сообщением об ошибке:
```
kvm: -device vfio-pci,host=0000:c4:00.0,id=hostpci0,bus=pci.0,addr=0x10,rombar=0: vfio 0000:c4:00.0: failed to open /dev/vfio/0: Device or resource busy
TASK ERROR: start failed: QEMU exited with code 1
```
Буду признателен за любую помощь или предложения по устранению этой проблемы и достижению правильного разделения GPU устройств в разные IOMMU группы.
Спасибо всем!
