+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Внутренняя ошибка гостя при передаче через PCIe, Proxmox Виртуальная Среда

mozartlovecats

Guest

06.11.2021 22:22:00

Привет, у меня работает PVE 7.0 на материнской плате Gigabyte H310N с процессором Intel i5-8400. Настройка IOMMU была выполнена согласно вики. На материнской плате есть слот M.2 для Wi-Fi карты, и у меня установлен Coral TPU. Группа IOMMU выглядит хорошо: Код: Группа IOMMU 0:
00:00.0 Хост-мост [0600]: Intel Corporation 8th Gen Core Processor Host Bridge/DRAM Registers [8086:3ec2] (rev 07)
Группа IOMMU 1:
00:01.0 PCI мост [0604]: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) [8086:1901] (rev 07)
01:00.0 Ethernet контроллер [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
01:00.1 Ethernet контроллер [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
Группа IOMMU 2:
00:02.0 VGA совместимый контроллер [0300]: Intel Corporation CometLake-S GT2 [UHD Graphics 630] [8086:3e92]
Группа IOMMU 3:
00:08.0 Системный периферийный контроллер [0880]: Intel Corporation Xeon E3-1200 v5/v6 / E3-1500 v5 / 6th/7th/8th Gen Core Processor Gaussian Mixture Model [8086:1911]
Группа IOMMU 4:
00:14.0 USB контроллер [0c03]: Intel Corporation 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller [8086:a2af]
Группа IOMMU 5:
00:16.0 Контроллер связи [0780]: Intel Corporation 200 Series PCH CSME HECI #1 [8086:a2ba]
Группа IOMMU 6:
00:17.0 SATA контроллер [0106]: Intel Corporation 200 Series PCH SATA контроллер [AHCI mode] [8086:a282]
Группа IOMMU 7:
00:1c.0 PCI мост [0604]: Intel Corporation 200 Series PCH PCI Express Root Port #5 [8086:a294] (rev f0)
Группа IOMMU 8:
00:1d.0 PCI мост [0604]: Intel Corporation 200 Series PCH PCI Express Root Port #11 [8086:a29a] (rev f0)
Группа IOMMU 9:
00:1d.3 PCI мост [0604]: Intel Corporation 200 Series PCH PCI Express Root Port #12 [8086:a29b] (rev f0)
Группа IOMMU 10:
00:1f.0 ISA мост [0601]: Intel Corporation Устройство [8086:a2ca]
00:1f.2 Контроллер памяти [0580]: Intel Corporation 200 Series/Z370 Chipset Family Power Management Controller [8086:a2a1]
00:1f.3 Аудиоустройство [0403]: Intel Corporation 200 Series PCH HD Audio [8086:a2f0]
00:1f.4 SMBus [0c05]: Intel Corporation 200 Series/Z370 Chipset Family SMBus Controller [8086:a2a3]
Группа IOMMU 11:
02:00.0 Контроллер энергонезависимой памяти [0108]: Silicon Motion, Inc. SM2263EN/SM2263XT SSD Controller [126f:2263] (rev 03)
Группа IOMMU 12:
03:00.0 Ethernet контроллер [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 16)
Группа IOMMU 13:
04:00.0 Системный периферийный контроллер [0880]: Global Unichip Corp. Coral Edge TPU [1ac1:089a]
Coral TPU находится в группе 13. Поэтому я передал PCI устройство 04:00.0 из группы 13 в интерфейсе Proxmox. Затем я включаю виртуальную машину с установленным Ubuntu 20.04 LTS. Но у меня возникает внутренняя ошибка на гостевой машине, она не загружается. Syslog показывает: Код: Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: AER: Получена некорректированная (нефатальная) ошибка: 0000:00:1d.3
Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: Ошибка шины PCIe: степень=Некорректированная (нефатальная), тип=Уровень транзакций, (ID запрашивающего устройства)
Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: устройство [8086:a29b] статус ошибки/маска=00100000/00010000
Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: [20] UnsupReq (Первая)
Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: AER: Заголовок TLP: 34000000 04000010 00000000 00000000
Nov 06 22:12:22 Proxmox kernel: pcieport 0000:00:1d.3: AER: восстановление устройства выполнено успешно
Nov 06 22:12:22 Proxmox kernel: vfio-pci 0000:04:00.0: vfio_ecap_init: скрытие ecap 0x1e@0x110
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: AER: Получена некорректированная (нефатальная) ошибка: 0000:00:1d.3
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: Ошибка шины PCIe: степень=Некорректированная (нефатальная), тип=Уровень транзакций, (ID запрашивающего устройства)
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: устройство [8086:a29b] статус ошибки/маска=00100000/00010000
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: [20] UnsupReq (Первая)
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: AER: Заголовок TLP: 34000000 04000010 00000000 00000000
Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: AER: восстановление устройства выполнено успешно
Nov 06 22:12:23 Proxmox QEMU[7423]: kvm: vfio_err_notifier_handler(0000:04:00.0) Обнаружена ошибка, которая не может быть исправлена. Пожалуйста, соберите любые возможные данные и затем завершите работу гостя.
Я предполагаю, что 00:1d.3 — это шина PCI на этом M.2 интерфейсе. Но не понимаю, почему она не работает. Гостевая машина работает нормально без PCI passthrough. Ошибка "внутренняя ошибка" возникает только при установке PCI passthrough. У меня работает две виртуальные машины с USB-периферией. Не уверен, связано ли это, но думаю, что нет.

Tekno-man

Guest

16.01.2022 03:11:00

У меня была такая же проблема, хотя я занёс драйвер в чёрный список и пробовал раннюю привязку. Единственное, что сработало, это отключение управления питанием PCI с помощью pcie_aspm=off. Ты в итоге просто оставил это отключённым или нашёл более хорошее решение? Спасибо!

mozartlovecats Guest	#3 0 16.01.2022 20:07:00 Я все же оставил это так. В моем случае это была карта PCIe мощностью менее 5 Вт, так что, думаю, серьезного вреда она не принесет.

leesteken

Guest

16.01.2022 20:12:00

Я думаю, что pcie_aspm=off применяется ко всем устройствам PCIe в системе, так что это может оказать большее влияние. С другой стороны, конкретные драйверы для устройств могут выполнять большую часть управления энергопотреблением, вне зависимости от этой настройки для шины PCIe.

mozartlovecats

Guest

16.01.2022 21:02:00

Я думаю, ты прав, эта настройка применима ко всем устройствам PCIe. Я не знаю, как управление питанием работает в ОС, но кажется, что если устройство PCIe передано виртуальной машине, то VM должна быть в состоянии взять контроль, иначе будет все равно слой виртуализации перевода. Хотя, возможно, я совершенно не прав.

Tekno-man Guest	#6 0 17.01.2022 06:49:00 Спасибо за ответ. Да, мой Coral, похоже, работает нормально и прошел через ваш HA и фрегат. Рад слышать, что он должен хорошо работать в долгосрочной перспективе. Удачи!

kernull Guest	#7 0 07.08.2023 13:10:00 Я получаю точно такие же ошибки в syslog, хотя моя ситуация немного отличается. У меня есть PCIe карта (H310), которая исчезает (после некоторого времени) из гостя, к которому она подключена. Как только она исчезает, я вижу те же ошибки (скопированные выше): Код: Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: PCIe Bus Error: severity=Uncorrected (Non-Fatal), type=Transaction Layer, (Requester ID) Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: device [8086:a29b] error status/mask=00100000/00010000 Nov 06 22:12:23 Proxmox kernel: pcieport 0000:00:1d.3: [20] UnsupReq (First) Я пробовал с двумя разными картами H310, думая, что проблема в том, что этот довольно старый HBA наконец подходит к концу, но проблема быстро появилась и с другой картой. Я собираюсь добавить настройку pcie_aspm=off в /etc/default/grub и посмотреть, что произойдет. Странно то, что этот HBA работал безупречно в течение многих лет, но я думаю, что проблема могла возникнуть после обновления в последние месяцы... Я действительно не уверен. Возможно, это проблема со спиналом, к которому подключена карта... ой. Я дам знать.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры