Не могу добиться полноценного PCI passthrough для SAS 9600-24i?

Tue, 06 May 2025 11:00:00 +0300

Не могу добиться полноценного PCI passthrough для SAS 9600-24i? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть решение этой проблемы? На Proxmox карта работает отлично. Passthrough в Linux VM не работает.. /opt/MegaRAID/storcli2/storcli2 /c0 show personality CLI Version = 008.0013.0000.0007 Mar 13, 2025 Operating system = Linux6.8.12-10-pve Controller = 0 Status = Success Description = None Personality Information : ======================= ----------------------------------- Prop Description ----------------------------------- Controller Personality eHBA ----------------------------------- Available Personality Information : ================================= ----------------------------------------------------------- ID Name IsCurrent IsRequested IsMutable IsMutableWithForce ----------------------------------------------------------- 0 eHBA Yes No Yes Yes ----------------------------------------------------------- lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS sda 8:0 0 7T 0 disk sdb 8:16 0 7T 0 disk sdc 8:32 0 7T 0 disk sdd 8:48 0 7T 0 disk sde 8:64 0 7T 0 disk sdf 8:80 0 7T 0 disk nvme0n1 259:0 0 3.6T 0 disk ├─nvme0n1p1 259:1 0 1007K 0 part ├─nvme0n1p2 259:2 0 1G 0 part /boot/efi ├─nvme0n1p3 259:3 0 299G 0 part │ ├─pve-swap 252:0 0 32G 0 lvm [SWAP] │ ├─pve-root 252:1 0 78.7G 0 lvm / │ ├─pve-data_tmeta 252:2 0 1.7G 0 lvm │ │ └─pve-data-tpool 252:4 0 168.8G 0 lvm │ │ ├─pve-data 252:5 0 168.8G 1 lvm │ │ └─pve-vm--121--disk--0 252:6 0 32G 0 lvm │ └─pve-data_tdata 252:3 0 168.8G 0 lvm │ └─pve-data-tpool 252:4 0 168.8G 0 lvm │ ├─pve-data 252:5 0 168.8G 1 lvm │ └─pve-vm--121--disk--0 252:6 0 32G 0 lvm └─nvme0n1p4 259:4 0 3.3T 0 part /mnt/Storage 01:00.0 RAID bus controller: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (rev 01) Subsystem: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter Flags: bus master, fast devsel, latency 0, IOMMU group 14 Memory at f812c00000 (64-bit, prefetchable) [size=16K] Expansion ROM at de400000 [disabled] [size=512K] Capabilities: [40] Power Management version 3 Capabilities: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+ Capabilities: [68] Express Endpoint, MSI 00 Capabilities: [a4] MSI-X: Enable+ Count=128 Masked- Capabilities: [b0] Vital Product Data Capabilities: [100] Device Serial Number 00-80-5b-b7-cb-30-af-a8 Capabilities: [fb4] Advanced Error Reporting Capabilities: [138] Power Budgeting Capabilities: [db4] Secondary PCI Express Capabilities: [af4] Data Link Feature Capabilities: [d00] Physical Layer 16.0 GT/s Capabilities: [d40] Lane Margining at the Receiver Capabilities: [160] Dynamic Power Allocation Kernel driver in use: mpi3mr Kernel modules: mpi3mr
06.05.2025 11:00:00, daemonix.

Не могу добиться полноценного PCI passthrough для SAS 9600-24i?

Wed, 07 Aug 2024 15:38:00 +0300

Не могу добиться полноценного PCI passthrough для SAS 9600-24i? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хм… какие-нибудь новости? Я планировал использовать этот контроллер для unRAID VM с Proxmox 8.2.x Host.
07.08.2024 15:38:00, s.Oliver.

Не могу добиться полноценного PCI passthrough для SAS 9600-24i?

Sun, 26 Nov 2023 00:16:00 +0300

Не могу добиться полноценного PCI passthrough для SAS 9600-24i? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пост перенесен с Reddit (https://www.reddit.com/r/Proxmox/comments/183rnv3/cant_pci_passthrough_sas_960024i_fully/)

У меня возникли проблемы с картой HBA Broadcom 9600-24i при подключении дисков в Linux (но не в Windows). Пока что удалось выяснить, что когда я запускаю карту напрямую (bare metal), UnRAID, Ubuntu 22.04 Live USB видят карту и подключенные диски. Но при виртуализации возникает какая-то ошибка при загрузке драйвера mpi3mr и использовании дисков. Это происходит в моём оригинальном гипервизоре (XCP-ng); я решил попробовать переключиться на Proxmox, и проблема также возникает здесь.

Например, bare metal Ubuntu 22.04 Live USB, UnRAID и PVE 8.1.3 вывод 'LSPCI -v':

Код: 05:00.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Флаги: bus master, fast devsel, latency 0, IOMMU group 14
Память на f0000000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на f7c00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Возможности: [100] Device Serial Number 00-80-5e-2a-a9-a8-85-18
Возможности: [fb4] Advanced Error Reporting
Возможности: [138] Power Budgeting
Возможности: [db4] Secondary PCI Express
Возможности: [af4] Data Link Feature
Возможности: [d00] Physical Layer 16.0 GT/s
Возможности: [d40] Lane Margining at the Receiver
Возможности: [160] Dynamic Power Allocation
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr

Bare metal вывод 'fdisk -l':

Код: ...

Диск /dev/sdc: 20.01 TiB, 22000969973760 bytes, 42970644480 sectors
Модель диска: ST22000NM001E-3H
Единицы: секторы 1 * 512 = 512 байт
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
...

Виртуальная машина Tiny11 (Windows 11) в Proxmox автоматически обнаруживает контроллер Storage в Device Manager и видит все диски в Disk Management. Даже не пришлось устанавливать драйвера. Но, когда я подключаю карту как raw устройство к новой виртуальной машине Ubuntu 22.04.3 в Proxmox 8.1.3, вывод 'lspci -v':

Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности:
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr

(Примечание: access denied, вероятно, потому что я забыл использовать sudo. Могу перезагрузить, но думаю, всё равно будет то же самое.)

Вывод VM 'dmesg | grep LSI':

Код: [ 1.047938] Загрузка mpi3mr версии 8.0.0.69.0
[ 1.048344] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 1.050331] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1

И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks.

Подумал, что, возможно, нужно "Full capabilities" в настройках passthrough:

Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr

Full capabilities вывод 'dmesg | grep mpi':

Код: [ 0.996084] Загрузка mpi3mr версии 8.0.0.69.0
[ 0.996807] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 0.998141] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1

И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks снова.

Я пробовал с ROM-Bar включенным и выключенным.

Фото GUI: https://imgur.com/a/mcMqyo8

Я прошёл через несколько других постов о passthrough LSI и т.д. на этом и Reddit и попробовал добавить в /etc/modprobe.d/passthrough.conf:

blacklist mpi3mr
options vfio-pci ids=1000:00a5

И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:

blacklist mpi3mr

И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:

softdep mpi3mr pre: vfio-pci

'update-initramfs -u -k all' и перезагрузка после каждого, но всё безрезультатно.

Любая помощь или мысли были бы очень признательны! Я не правильно что-то подключаю для ядра Linux при виртуализации?

Мне нравится Prox, и я, вероятно, перешёл бы на него с XCP. Но в противном случае, я, возможно, просто придётся остановиться на Unraid или Windows, что было бы не очень хорошо, но есть предел тому, сколько можно размышлять над этим.
26.11.2023 00:16:00, dantonbryans.

Аспро: ЛайтШоп [тема: Не могу добиться полноценного PCI passthrough для SAS 9600-24i?]

Не могу добиться полноценного PCI passthrough для SAS 9600-24i?

Не могу добиться полноценного PCI passthrough для SAS 9600-24i?

Не могу добиться полноценного PCI passthrough для SAS 9600-24i?