+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Проброс GPU AMD, Proxmox Виртуальная Среда

Okeur

Guest

10.04.2020 16:36:00

Да, я знаю, еще один пост про передачу GPU... Привет всем, впервые работаю с proxmox, пытаюсь настроить передачу GPU на платформе AMD, и следуя множеству руководств/видео/вики, я все еще не могу заставить это работать... Данные сервера: AMD Ryzen Threadripper 1920x (AMD-v и AMD-vi доступны) материнская плата Asrock X399 с включенным IOMMU и отключенным CSM (т.е. полный UEFI) AMD Radeon R9 290 И все остальное, что не имеет значения для этой проблемы Proxmox: 6.1-8 Образ Windows: 1909 (последний с сайта windows на момент написания) Цель: Виртуальная машина Windows 10 с передачей GPU Полезные выводы: Спойлер: lspci root@proxmox:~# lspci 43:00.0 VGA совместимый контроллер: Advanced Micro Devices, Inc. [AMD/ATI] Hawaii PRO [Radeon R9 290/390] 43:00.1 Устройство звука: Advanced Micro Devices, Inc. [AMD/ATI] Hawaii HDMI Audio [Radeon R9 290/290X / 390/390X] Спойлер: find /sys/kernel/iommu_groups root@proxmox:~# find /sys/kernel/iommu_groups/ -type l /sys/kernel/iommu_groups/31/devices/0000:43:00.0 /sys/kernel/iommu_groups/31/devices/0000:43:00.1 Мой GPU это 0000:43:00 (.0 для самого GPU и .1 для звука), и если я правильно читаю/понимаю вывод, он принадлежит своей собственной группе IOMMU 31. Спойлер: Черный список драйвера root@proxmox:~# cat /etc/modprobe.d/blacklist.conf blacklist radeon blacklist nouveau blacklist nvidia root@proxmox:~# cat /etc/modprobe.d/pve-blacklist.conf # Этот файл содержит список модулей, которые не поддерживаются Proxmox VE # nidiafb см. отчет об ошибке https://bugzilla.proxmox.com/show_bug.cgi?id=701 blacklist nvidiafb blacklist nouveau blacklist radeon blacklist nvidia Я не был уверен, куда поместить этот черный список, в зависимости от руководства информация варьируется. Но, думаю, все файлы .conf загружаются при загрузке, так что это не должно иметь значения. Спойлер: lspci -n -s root@proxmox:~# lspci -n -s 43:00 43:00.0 0300: 1002:67b1 43:00.1 0403: 1002:aac8 Спойлер: vfio root@proxmox:~# cat /etc/modprobe.d/vfio.conf options vfio-pci ids=1002:67b1,1002:aac8 disable_vga=1 Спойлер: Grub root@proxmox:~# cat /etc/default/grub GRUB_DEFAULT=0 GRUB_TIMEOUT=5 GRUB_DISTRIBUTOR="Proxmox Virtual Environment" GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on video=vesafb: off,efifb: off" #GRUB_CMDLINE_LINUX_DEFAULT="textonly video=astdrmfb video=efifb: off" GRUB_CMDLINE_LINUX="root=ZFS=rpool/ROOT/pve-1 boot=zfs" Спойлер: Конфигурация VM root@proxmox:~# cat /etc/pve/qemu-server/103.conf bios: ovmf bootdisk: scsi0 cores: 8 hostpci0: 43:00,pcie=1,x-vga=1 ide0: local:iso/virtio-win-0.1.173.iso,media=cdrom,size=384670K ide2: local:iso/WINDOWS_10_3en1_1909__18363.720__FR_X64__DREAM_TEAM_CUSTOM_OS_.iso,media=cdrom machine: q35 memory: 8192 name: W10-OVMF net0: virtio=02:6C:80:E4:B1:0B,bridge=vmbr0,firewall=1 numa: 0 ostype: win10 scsi0: VM-OS:vm-103-disk-0,size=100G scsihw: virtio-scsi-pci smbios1: uuid=f42051a2-d52b-4853-9945-6fc0f2152c7f sockets: 1 vmgenid: 9416e428-8594-479b-8803-df1767695805 Для информации, если я добавляю cpu: host, hidden=1, Windows крашится в самом начале с BSOD. Что я получаю с этой конфигурацией: Когда я загружаю proxmox, я теряю видео (сервер подключен к моему телевизору сейчас), что нормально, я понимаю. Когда я загружаю виртуальную машину W10, я получаю логотип proxmox, 2 строки QEMU, говорящие, что диск найден и он загрузится, но застревает на этом, RAM загружена на 95%, CPU 30%, а экран выглядит так, как будто он разбит. Я не знаю, как точно это описать, но если вы введете в гугле "неисправный экран GPU", оно выглядит так. Однако GPU не неисправен, так как в начале я установил только ОС W10 (не ВМ), чтобы все протестировать, и все в порядке. Я также пытался поменять PCI-слот, в который вставлена карта. Никаких изменений. Любая помощь будет оценена, и я могу провести больше тестов, если нужно, пока на proxmox ничего не запущено... Спасибо, ребята!

Katyusha86

Guest

26.04.2020 05:44:00

Привет, я зарегистрировался на этом форуме, чтобы сказать, что разделение VGA и аудио сработало для меня. (AMD 7870 + i5 3570) Так:

Это была ужасная ночь для меня. Я просто попробовал Netflix в браузере, и он завис мою виртуальную машину на Win10. Затем виртуальная машина не реагировала на любые команды остановки, выключения и т.д. из интерфейса Proxmox. Я воспользовался возможностью обновить Proxmox, затем перезагрузил хост, и после этого на виртуальной машине не было изображения, совсем ничего. Пришлось искать решение на Reddit: https://www.reddit.com/r/Proxmox/comments/fs8j5d/error_43_nvidia_passthrough_proxmox_618/

Veeh

Guest

26.04.2020 08:08:00

Я согласен с xi784, вам стоит попробовать добавить pcie_acs_override=downstream в вашу группу. У вас отображается экран на VNC, когда вы убираете флаг x-vga=1? К вашему сведению, я сделал свою конфигурацию с той же видеокартой и процессором Intel. Вы можете посмотреть мою конфигурацию здесь: https://forum.proxmox.com/threads/gpu-passthrough-issue-6-1-radeon-blank-screen.68821/#post-308566

Okeur

Guest

26.04.2020 12:05:00

Спасибо всем за ваши ответы, постараюсь не забыть никого! TL;DR: еще не решено @xi784: Blacklist amgdpu: изменений нет. Ниже приведён вывод моего файла blacklist.conf. Спойлер: blacklist root@proxmox:~# cat /etc/modprobe.d/blacklist.conf blacklist radeon blacklist nouveau blacklist nvidia blacklist amdgpu blacklist snd_hda_intel Я пробовал cpu:host, cpu:host,hidden=1 и добавлял numa, но без улучшений. Ниже текущий файл конфигурации ВМ: Спойлер: VM conf root@proxmox:~# cat /etc/pve/qemu-server/102.conf bios: ovmf boot: cd bootdisk: scsi0 cores: 8 cpu: host,hidden=1 efidisk0: VM-Storage:vm-102-disk-0,size=1M hostpci0: 43:00.0,pcie=1 hostpci1: 43:00.1,pcie=1 hotplug: disk,network,usb ide0: local:iso/virtio-win-0.1.173.iso,media=cdrom,size=384670K machine: q35 memory: 8192 name: W10 net0: virtio=9A:80:BE:8B:54:97,bridge=vmbr0,firewall=1 numa: 1 ostype: win10 scsi0: VM-OS:vm-102-disk-0,cache=writeback,size=160G scsihw: virtio-scsi-pci smbios1: uuid=0db0d068-f8bf-4e93-8d27-d3f9a869b7ff sockets: 1 vga: none vmgenid: d8f2a3b7-6c29-45c1-8298-3ae2665e7a96 Спойлер: GRUB GRUB_CMDLINE_LINUX_DEFAULT="quiet pci=noaer amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nofb nomodeset video=vesafb ff,efifb ff" Спойлер: lspci -v 43:00.0 VGA совместимый контроллер: Advanced Micro Devices, Inc. [AMD/ATI] Hawaii PRO [Radeon R9 290/390] (prog-if 00 [VGA controller]) Подсистема: Gigabyte Technology Co., Ltd Hawaii PRO [Radeon R9 290/390] Флаги: bus master, fast devsel, latency 0, IRQ 46 Память на 80000000 (64-бит, с предзагрузкой) [размер=256M] Память на 90000000 (64-бит, с предзагрузкой) [размер=8M] Порты ввода/вывода на 3000 Память на 9f500000 (32-бит, без предзагрузки) [размер=256K] Расширенный ROM на 9f540000 [выключен] [размер=128K] Возможности: [48] Информация от производителя: Len=08 <?> Возможности: [50] Управление питанием версия 3 Возможности: [58] Express Legacy Endpoint, MSI 00 Возможности: [a0] MSI: Включение- Количество=1/1 Подходит для маскировки- 64bit+ Возможности: [100] Информация от производителя: ID=0001 Rev=1 Len=010 <?> Возможности: [150] Возможности расширенной отчетности об ошибках Возможности: [200] #15 Возможности: [270] #19 Возможности: [2b0] Служба преобразования адресов (ATS) Возможности: [2c0] Интерфейс запросов страниц (PRI) Возможности: [2d0] Идентификатор адресного пространства процесса (PASID) Ядро драйвера в использовании: vfio-pci Ядерные модули: radeon, amdgpu 43:00.1 Аудио устройство: Advanced Micro Devices, Inc. [AMD/ATI] Hawaii HDMI Audio [Radeon R9 290/290X / 390/390X] Подсистема: Gigabyte Technology Co., Ltd Hawaii HDMI Audio [Radeon R9 290/290X / 390/390X] Флаги: bus master, fast devsel, latency 0, IRQ 143 Память на 9f560000 (64-бит, без предзагрузки) [размер=16K] Возможности: [48] Информация от производителя: Len=08 <?> Возможности: [50] Управление питанием версия 3 Возможности: [58] Express Legacy Endpoint, MSI 00 Возможности: [a0] MSI: Включение- Количество=1/1 Подходит для маскировки- 64bit+ Возможности: [100] Информация от производителя: ID=0001 Rev=1 Len=010 <?> Возможности: [150] Возможности расширенной отчетности об ошибках Ядро драйвера в использовании: vfio-pci Ядерные модули: snd_hda_intel Dmesg | grep iommu больше ничего не показывает... Спойлер: dmesg | grep iommu root@proxmox:~# dmesg | grep iommu root@proxmox:~# @gorfy Тому, кто первым это решит, полагается пиво от остальных. @Katyusha86 Спасибо, что зарегистрировались, чтобы предложить решение, очень ценю. Я попробовал ваше предложение, как вы можете видеть в моем конфиге. Я проверил пост на reddit, который вы указали, и мне кажется, что у меня такая же конфигурация, как и у вас (только у вас nvidia, а у меня AMD). @Veeh Я пытался добавить параметр downstream в grub, но без успеха. У меня нет дисплея на VNC ни с параметром x-vga=1, ни без него. Я также пытался добавить flags=+pcid в файл vm.conf согласно вашему посту, но улучшений не наблюдал.

xi784

Guest

26.04.2020 12:11:00

dmesg | grep iommu и отсутствие вывода — это плохо. AMD-V в BIOS включен? -------------------------------- hostpci0: 43:00.0, pcie=1 hostpci1: 43:00.1, pcie=1 неправильно, правильно: hostpci0: 43:00, pcie=1, x-vga=1 вы не можете разделить многофункциональное устройство. Я бы также рекомендовал сохранить файл ROM с вашей видеокарты. hostpci0: 43:00, pcie=1, x-vga=1, romfile=xxx.rom некоторые карточки на базе UEFI нуждаются в этом.

Okeur Guest	#6 0 26.04.2020 12:12:00 Картинка может помочь вам понять, что я вижу, когда загружаю виртуальную машину.

Okeur

Guest

26.04.2020 12:16:00

Конечно, AMD-v включен. Вывод dmesg у меня был раньше, но я несколько раз менял конфигурацию, и вывод исчез. Я пробовал hostpci0: 43:00,pcie=1,x-vga=1, но вывод остается прежним. В последнем выводе x_vga=1 не было, потому что я следовал предложению @Veeh (чтобы проверить, есть ли VNC консоль или нет). Для ROM я следовал руководству по pci passthrough от Proxmox, но не смог это сделать. # cd /sys/bus/pci/devices/0000:01:00.0/ # echo 1 > rom # cat rom > /tmp/image.rom # echo 0 > rom Это у меня не сработало, так как файл rom не существует, и я не могу его создать. (Естественно, я заменил 0000:01:00.0 на правильный ID)

xi784

Guest

26.04.2020 12:20:00

монитор присутствует на карте? я все еще в замешательстве из-за отсутствия вывода в dmesg iommu.. ---- можешь проверить это: dmesg | grep -i -e DMAR -e IOMMU --- techpowerup.com/vgabios/ найди свою карту, возможно, ты сможешь там найти свой биос

Okeur

Guest

26.04.2020 12:25:00

Что ты имеешь в виду под монитором? Экран? Да, телевизор подключен к видеокарте. root@proxmox:~# dmesg | grep -i -e DMAR -e IOMMU root@proxmox:~# Но dmesg забит сообщениями: [ 1431.156817] vfio-pci 0000:43:00.0: BAR 0: нельзя зарезервировать [mem 0x80000000-0x8fffffff 64bit pref]

xi784 Guest	#10 0 26.04.2020 12:33:00 Я заметил, что у тебя установлена только одна видеокарта?

Okeur Guest	#11 0 26.04.2020 12:41:00 Да. Я пытался передать опцию romfile с BIOS GPU, но улучшения не произошло.

xi784

Guest

#12

26.04.2020 12:46:00

Вы не можете сделать это таким образом, потому что карта используется хост-системой. Это вовсе не невозможно, но конфигурация отличается и её не так просто настроить. Кроме того, это не сработает в каждом случае, потому что не все BIOS могут правильно обрабатывать основную карту. Проще всего купить вторую карту, например, Nvidia GT 710, и использовать её в качестве основной карты для хост-системы.

Okeur Guest	#13 0 26.04.2020 12:59:00 Я боялся прийти к этому выводу... Получается, даже несмотря на то, что драйвер в черном списке, основная (и единственная) видеокарта используется хостом?

xi784 Guest	#14 0 26.04.2020 13:25:00 Проблема начинается с BIOS: некоторые версии BIOS могут запускаться без графической карты, но большинству всё же нужна как минимум одна основная карта. В данном случае распространённая проблема заключается в том, что GPU используется BIOS. Это можно проверить, просто убрав карту и посмотрев на веб-интерфейс, загружается ли хост. Обычно в BIOS есть настройка, как управлять устройствами PCIe – в режиме CSM или UEFI. Попробуйте поиграть с этой настройкой, если она есть. Так что, если ваш BIOS может загрузиться без карты, вам нужно вызвать ядро, чтобы оно не использовалоFramebuffer, как вы делали с командной строкой: video=vesafb ff,efifb ff. Но, я думаю, вам потребуется вторая графическая карта, что намного проще в настройке.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры