Пост перенесен с Reddit ()
У меня возникли проблемы с картой HBA Broadcom 9600-24i при подключении дисков в Linux (но не в Windows). Пока что удалось выяснить, что когда я запускаю карту напрямую (bare metal), UnRAID, Ubuntu 22.04 Live USB видят карту и подключенные диски. Но при виртуализации возникает какая-то ошибка при загрузке драйвера mpi3mr и использовании дисков. Это происходит в моём оригинальном гипервизоре (XCP-ng); я решил попробовать переключиться на Proxmox, и проблема также возникает здесь.
Например, bare metal Ubuntu 22.04 Live USB, UnRAID и PVE 8.1.3 вывод 'LSPCI -v':
Код: 05:00.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Флаги: bus master, fast devsel, latency 0, IOMMU group 14
Память на f0000000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на f7c00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Возможности: [100] Device Serial Number 00-80-5e-2a-a9-a8-85-18
Возможности: [fb4] Advanced Error Reporting
Возможности: [138] Power Budgeting <?>
Возможности: [db4] Secondary PCI Express
Возможности: [af4] Data Link Feature <?>
Возможности: [d00] Physical Layer 16.0 GT/s <?>
Возможности: [d40] Lane Margining at the Receiver <?>
Возможности: [160] Dynamic Power Allocation <?>
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
Bare metal вывод 'fdisk -l':
Код: ...
Диск /dev/sdc: 20.01 TiB, 22000969973760 bytes, 42970644480 sectors
Модель диска: ST22000NM001E-3H
Единицы: секторы 1 * 512 = 512 байт
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
...
Виртуальная машина Tiny11 (Windows 11) в Proxmox автоматически обнаруживает контроллер Storage в Device Manager и видит все диски в Disk Management. Даже не пришлось устанавливать драйвера. Но, когда я подключаю карту как raw устройство к новой виртуальной машине Ubuntu 22.04.3 в Proxmox 8.1.3, вывод 'lspci -v':
Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности: <access denied>
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
(Примечание: access denied, вероятно, потому что я забыл использовать sudo. Могу перезагрузить, но думаю, всё равно будет то же самое.)
Вывод VM 'dmesg | grep LSI':
Код: [ 1.047938] Загрузка mpi3mr версии 8.0.0.69.0
[ 1.048344] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 1.050331] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1
И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks.
Подумал, что, возможно, нужно "Full capabilities" в настройках passthrough:
Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
Full capabilities вывод 'dmesg | grep mpi':
Код: [ 0.996084] Загрузка mpi3mr версии 8.0.0.69.0
[ 0.996807] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 0.998141] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1
И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks снова.
Я пробовал с ROM-Bar включенным и выключенным.
Фото GUI:
Я прошёл через несколько других постов о passthrough LSI и т.д. на этом и Reddit и попробовал добавить в /etc/modprobe.d/passthrough.conf:
blacklist mpi3mr
options vfio-pci ids=1000:00a5
И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:
blacklist mpi3mr
И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:
softdep mpi3mr pre: vfio-pci
'update-initramfs -u -k all' и перезагрузка после каждого, но всё безрезультатно.
Любая помощь или мысли были бы очень признательны! Я не правильно что-то подключаю для ядра Linux при виртуализации?
Мне нравится Prox, и я, вероятно, перешёл бы на него с XCP. Но в противном случае, я, возможно, просто придётся остановиться на Unraid или Windows, что было бы не очень хорошо, но есть предел тому, сколько можно размышлять над этим.
У меня возникли проблемы с картой HBA Broadcom 9600-24i при подключении дисков в Linux (но не в Windows). Пока что удалось выяснить, что когда я запускаю карту напрямую (bare metal), UnRAID, Ubuntu 22.04 Live USB видят карту и подключенные диски. Но при виртуализации возникает какая-то ошибка при загрузке драйвера mpi3mr и использовании дисков. Это происходит в моём оригинальном гипервизоре (XCP-ng); я решил попробовать переключиться на Proxmox, и проблема также возникает здесь.
Например, bare metal Ubuntu 22.04 Live USB, UnRAID и PVE 8.1.3 вывод 'LSPCI -v':
Код: 05:00.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Флаги: bus master, fast devsel, latency 0, IOMMU group 14
Память на f0000000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на f7c00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Возможности: [100] Device Serial Number 00-80-5e-2a-a9-a8-85-18
Возможности: [fb4] Advanced Error Reporting
Возможности: [138] Power Budgeting <?>
Возможности: [db4] Secondary PCI Express
Возможности: [af4] Data Link Feature <?>
Возможности: [d00] Physical Layer 16.0 GT/s <?>
Возможности: [d40] Lane Margining at the Receiver <?>
Возможности: [160] Dynamic Power Allocation <?>
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
Bare metal вывод 'fdisk -l':
Код: ...
Диск /dev/sdc: 20.01 TiB, 22000969973760 bytes, 42970644480 sectors
Модель диска: ST22000NM001E-3H
Единицы: секторы 1 * 512 = 512 байт
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
...
Виртуальная машина Tiny11 (Windows 11) в Proxmox автоматически обнаруживает контроллер Storage в Device Manager и видит все диски в Disk Management. Даже не пришлось устанавливать драйвера. Но, когда я подключаю карту как raw устройство к новой виртуальной машине Ubuntu 22.04.3 в Proxmox 8.1.3, вывод 'lspci -v':
Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности: <access denied>
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
(Примечание: access denied, вероятно, потому что я забыл использовать sudo. Могу перезагрузить, но думаю, всё равно будет то же самое.)
Вывод VM 'dmesg | grep LSI':
Код: [ 1.047938] Загрузка mpi3mr версии 8.0.0.69.0
[ 1.048344] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 1.050331] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1
И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks.
Подумал, что, возможно, нужно "Full capabilities" в настройках passthrough:
Код: 00:10.0 Контроллер RAID шины: Broadcom / LSI Fusion-MPT 24GSAS/PCIe SAS40xx (об. 01)
Подсистема: Broadcom / LSI eHBA 9600-24i Tri-Mode Storage Adapter
Физический слот: 16
Флаги: fast devsel
Память на fd600000 (64-битная, предзагрузочная) [размер=16K]
Expansion ROM на fea00000 [отключено] [размер=512K]
Возможности: [40] Power Management version 3
Возможности: [48] MSI: Enable- Count=1/32 Maskable+ 64bit+
Возможности: [68] Express Endpoint, MSI 00
Возможности: [a4] MSI-X: Enable- Count=128 Masked-
Возможности: [b0] Vital Product Data
Драйвер ядра в использовании: mpi3mr
Модули ядра: mpi3mr
Full capabilities вывод 'dmesg | grep mpi':
Код: [ 0.996084] Загрузка mpi3mr версии 8.0.0.69.0
[ 0.996807] mpi3mr 0000:00:10.0: osintfc_mrioc_security_status: PCI_EXT_CAP_ID_DSN не поддерживается
[ 0.998141] mpi3mr 0000:00:10.0: Driver probe function unexpectedly returned 1
И вывод 'fdisk -l' показывает только QEMU-диск и loopbacks снова.
Я пробовал с ROM-Bar включенным и выключенным.
Фото GUI:
Я прошёл через несколько других постов о passthrough LSI и т.д. на этом и Reddit и попробовал добавить в /etc/modprobe.d/passthrough.conf:
blacklist mpi3mr
options vfio-pci ids=1000:00a5
И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:
blacklist mpi3mr
И я также попробовал добавить в /etc/modprobe.d/pve-blacklist.conf:
softdep mpi3mr pre: vfio-pci
'update-initramfs -u -k all' и перезагрузка после каждого, но всё безрезультатно.
Любая помощь или мысли были бы очень признательны! Я не правильно что-то подключаю для ядра Linux при виртуализации?
Мне нравится Prox, и я, вероятно, перешёл бы на него с XCP. Но в противном случае, я, возможно, просто придётся остановиться на Unraid или Windows, что было бы не очень хорошо, но есть предел тому, сколько можно размышлять над этим.
