Привет, народ! У меня кластер Proxmox из 3 узлов, каждый узел — Minisforum MS-01 с 3x 2TB Samsung nvme SSD 990 EVO Plus. Для тестирования производительности я настроил кластер OKD с 3 Worker Node на каждом узле Proxmox и напрямую подключил один Samsung SSD к каждой VM. Это работало для 2 VM без проблем. Третью VM не удается подключить ни один из 3 Samsung SSD, для тестов я подключил оба NVMe SSD – один как RAW устройство, а другой с mapping.
При попытке запустить эту VM на хосте Proxmox получаю следующий лог dmesg: Code: ...
[ 562.662538] vfio-pci 0000:59:00.0: Unable to change power state from D0 to D3hot, device inaccessible
[ 562.872420] vfio-pci 0000:5a:00.0: Unable to change power state from D0 to D3hot, device inaccessible
[ 563.367593] tap105i0: entered promiscuous mode
[ 563.399735] OCPVnet: port 2(fwpr105p0) entered blocking state
[ 563.399739] OCPVnet: port 2(fwpr105p0) entered disabled state
... Две другие VM на отдельных хостах Proxmox работают без проблем. Что я уже проверил: * Все SSD имеют одинаковые версии прошивки Samsung * Все хосты Proxmox работают с идентичными версиями * Все VM используют идентичный образ * Все хосты имеют одинаковую версию BIOS (Secure Boot отключен) * Все хосты имеют powermanagement mobile S0 only настроен в BIOS * Все хосты имеют ASPM отключен в BIOS * Затронутый хост Proxmox запускался с/без pcie_aspm=off и с/без intel_iommu=on без каких-либо изменений Что происходит?
При попытке запустить эту VM на хосте Proxmox получаю следующий лог dmesg: Code: ...[ 562.662538] vfio-pci 0000:59:00.0: Unable to change power state from D0 to D3hot, device inaccessible
[ 562.872420] vfio-pci 0000:5a:00.0: Unable to change power state from D0 to D3hot, device inaccessible
[ 563.367593] tap105i0: entered promiscuous mode
[ 563.399735] OCPVnet: port 2(fwpr105p0) entered blocking state
[ 563.399739] OCPVnet: port 2(fwpr105p0) entered disabled state
... Две другие VM на отдельных хостах Proxmox работают без проблем. Что я уже проверил: * Все SSD имеют одинаковые версии прошивки Samsung * Все хосты Proxmox работают с идентичными версиями * Все VM используют идентичный образ * Все хосты имеют одинаковую версию BIOS (Secure Boot отключен) * Все хосты имеют powermanagement mobile S0 only настроен в BIOS * Все хосты имеют ASPM отключен в BIOS * Затронутый хост Proxmox запускался с/без pcie_aspm=off и с/без intel_iommu=on без каких-либо изменений Что происходит?
