+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

HP Server - возможно ли пробрасывание PCIe?, Proxmox Виртуальная Среда

senadman

Guest

12.07.2022 03:24:00

Всем привет, я использую Proxmox 7.2 на сервере HP DL380 G9 и уже какое-то время всё работает без серьезных проблем, кроме одной — pcie passthrough. Все шаги были выполнены (вики и т.д.). Что бы я ни пытался сделать, в журнале задач появляется сообщение "Ошибка: не удалось запустить: QEMU вышел с кодом 1". Я пытаюсь передать 10gbe NIC в виртуальную машину. Код: root@pve:~# dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
[ 0.023143] ACPI: DMAR 0x000000007B7E7000 0002D0 (v01 HP ProLiant 00000001 HP 00000001)
[ 0.023233] ACPI: Резервируется память таблицы DMAR по адресу [mem 0x7b7e7000-0x7b7e72cf]
[ 1.267872] DMAR: IOMMU включен
[ 3.003073] DMAR: Ширина адреса хоста 46
[ 3.003076] DMAR: Основной адрес DRHD: 0x000000fbffc000 флаги: 0x0
[ 3.003087] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020df
[ 3.003092] DMAR: Основной адрес DRHD: 0x000000c7ffc000 флаги: 0x1
[ 3.003099] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap d2078c106f0466 ecap f020df
[ 3.003103] DMAR: RMRR базовый адрес: 0x00000079174000 конец: 0x00000079176fff
[ 3.003106] DMAR: RMRR базовый адрес: 0x000000791f4000 конец: 0x000000791f7fff
[ 3.003111] DMAR: RMRR базовый адрес: 0x000000791de000 конец: 0x000000791f3fff
[ 3.003114] DMAR: RMRR базовый адрес: 0x000000791cb000 конец: 0x000000791dbfff
[ 3.003116] DMAR: RMRR базовый адрес: 0x000000791dc000 конец: 0x000000791ddfff
[ 3.003120] DMAR-IR: IOAPIC id 10 под базой DRHD 0xfbffc000 IOMMU 0
[ 3.003124] DMAR-IR: IOAPIC id 8 под базой DRHD 0xc7ffc000 IOMMU 1
[ 3.003127] DMAR-IR: IOAPIC id 9 под базой DRHD 0xc7ffc000 IOMMU 1
[ 3.003130] DMAR-IR: HPET id 0 под базой DRHD 0xc7ffc000
[ 3.003133] DMAR-IR: Очередь недопустимого инвалидации будет включена для поддержки x2apic и Intr-remapping.
[ 3.004368] DMAR-IR: Включено переопределение IRQ в режиме x2apic
[ 3.387604] DMAR: ATSR не найден
[ 3.387606] DMAR: SATC не найден
[ 3.387609] DMAR: dmar0: Используется очередная инвалидация
[ 3.387615] DMAR: dmar1: Используется очередная инвалидация
[ 3.400411] DMAR: Intel® Virtualization Technology for Directed I/O
[ 2405.845061] vfio-pci 0000:0b:00.1: DMAR: Устройство не подходит для прикрепления к домену IOMMU из-за требования платформы RMRR. Свяжитесь с вашим поставщиком платформы.
[ 2500.728124] vfio-pci 0000:0b:00.1: DMAR: Устройство не подходит для прикрепления к домену IOMMU из-за требования платформы RMRR. Свяжитесь с вашим поставщиком платформы.
[ 3822.881991] vfio-pci 0000:0b:00.1: DMAR: Устройство не подходит для прикрепления к домену IOMMU из-за требования платформы RMRR. Свяжитесь с вашим поставщиком платформы. Эти последние три строки, похоже, являются проблемой, есть ли у кого-то советы?

Urbanovits

Guest

29.10.2022 21:57:00

Та же проблема на HP DL380 G9 с LSI MegaRAid syslog: 29 октября 21:43:39 pve03 kernel: [ 118.555080] vfio-pci 0000:01:00.0: DMAR: Устройство не подходит для присоединения к IOMMU домену из-за требований RMRR платформы. Свяжитесь с вашим поставщиком оборудования. 29 октября 21:43:40 pve03 kernel: [ 118.737813] vmbr0: порт 9(tap150i0) вошел в состояние отключено 29 октября 21:43:40 pve03 pvedaemon[4219]: Команда qmp для VM 150 не удалась - VM 150 не запущен 29 октября 21:43:40 pve03 pvestatd[4025]: Команда qmp для VM 150 не удалась - VM 150 не запущен 29 октября 21:43:40 pve03 systemd[1]: 150.scope: Успешно. 29 октября 21:43:40 pve03 pvedaemon[7263]: ошибка запуска: QEMU завершился с кодом 1 dmesg |grep -e DMAR -e IOMMU -e AMD-Vi [ 118.555080] vfio-pci 0000:01:00.0: DMAR: Устройство не подходит для присоединения к IOMMU домену из-за требований RMRR платформы. Свяжитесь с вашим поставщиком оборудования. Есть рабочее решение?

GastonJ

Guest

09.11.2022 15:10:00

Я пытался запустить свой DL380G7 в прошлые выходные и столкнулся с той же проблемой. Есть "решение" для этого, но оно включает компиляцию ядра. Однако мне пока не удалось сделать это успешно. Вам, вероятно, стоит посмотреть тему под названием Compile Proxmox VE with patched intel-iommu driver to remove RMRR check. Надеюсь, это поможет - я бы предпочел что-то, что не ломалось бы каждый раз, когда Proxmox выпускал новое ядро.

Urbanovits

Guest

09.11.2022 15:26:00

Привет, в первую очередь большинство упомянутых проблем проявляется на серверах G9. У меня есть G1 до G10, и G9 — это та часть, которая вызывает трудности. Да, я тестировал на пользовательском ядре (с исходниками из GitHub), которое исправило ошибку "DMAR: Device is ineligible for IOMMU domain attach due to platform RMRR requirement". Но появилась другая проблема: какой-то сбой в распределении памяти (точно не помню, что именно это было и как выглядела ошибка), и PCIe passthrough работает только при первой загрузке. Все настройки на SCSI-карте не оказывают никакого эффекта, и загрузка завершается неудачей. В заключение, возможно, обновление BIOS сервера и/или прошивка SCSI-карты на Proxmox могли бы помочь, но у меня нет доступа для загрузки обновлений с сайта поддержки HP. Проект с PCIe passthrough здесь отложен.

LnxBil Guest	#5 0 09.11.2022 21:53:00 Серьёзно? У меня есть G6, и в недавних PVE я не могу заставить стабильный PCIe passthrough работать. Раньше всё хорошо работало (так как аппаратное обеспечение было немного новее).

Urbanovits Guest	#6 0 10.11.2022 08:10:00 Вместо того чтобы ссориться, я думаю, нам нужно сосредоточиться на поиске решения. То, что я здесь поделился, это мои мысли и опыт. Никаких требований или подобного. Все еще в контексте вопроса: PCIe passthrough.

D0doooh Guest	#7 0 18.12.2022 03:21:00 У меня тоже такая же проблема, есть какие-нибудь успехи? Я впадаю в отчаяние...

Azabua Guest	#8 0 27.01.2023 11:09:00 У меня такая же проблема с моим HP DL380p G8, и я нашел статью, которая, как предполагается, это исправляет, но я еще не пробовал. Проблемы совместимости DPDK и RMRR на HP Proliant DL360e G8.

D0doooh Guest	#9 0 27.01.2023 11:46:00 посмотри сюда: https://forum.proxmox.com/threads/pci-passthrough-problems.65485/#post-519449 это помогло мне, и теперь все работает.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры