+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Устройства PCIe Passthrough с ошибками., Proxmox Виртуальная Среда

hodor

Guest

13.06.2023 07:58:00

Характеристики компьютера: CPU: Intel N100 RAM: 8GB Storage: 250gb SSD Конфигурация VM: Code: boot: order=scsi0;ide2;net0
cores: 4
hostpci0: 0000:01:00.0
hostpci1: 0000:02:00.0
hostpci2: 0000:03:00.0
ide2: local:iso/debian-11.7.0-amd64-netinst.iso,media=cdrom,size=389M
memory: 2048
meta: creation-qemu=7.2.0,ctime=1686634272
name: Debian
net0: virtio=F2:58:B9:29:6C:3C,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
scsi0: local-lvm:vm-100-disk-0,iothread=1,size=32G
scsihw: virtio-scsi-single
smbios1: uuid=a7dfe925-96c8-414c-888f-ebdb956e210c
sockets: 1
vmgenid: c7756bff-3cce-476d-b925-7a4a89efe57f Моя конфигурация Grub: Code: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on" Когда VM запускается, соединение теряется, и консоль выдает следующий error: Code: igb 0000:04:00.0 enp4s0: PCIe link lost, device now detached
vfio-pci 0000:03:00.0: Unable to change power state from d3cold to d0 device inaccessible
vfio-pci 0000:03:00.0: Unable to change power state from d3cold to d0 device inaccessible 0000:01:00.0 ~ 0000:04:00.0 – сетевая карта

leesteken

Guest

13.06.2023 10:21:00

Проверь свои IOMMU группы. Возможно, все четыре сетевых устройства находятся в одной группе и, следовательно, не могут быть разделены между VM и хостом Proxmox. Это объяснит, почему хост теряет 04:00.0/enp4s0. Попробуй передать все четыре устройства в одну VM и не использовать одно для Proxmox. Но сначала проверь группы, чтобы узнать, есть ли в них больше устройств (кроме PCI Bridges).

EDIT: Это даёт хороший обзор групп:

`for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU group %s ' "$n"; lspci -nns "${d##*/}"; done`

hodor

Guest

13.06.2023 10:38:00

У каждого моего сетевого устройства своя группа IOMMU. На моей машине их группы IOMMU — 11, 12, 13 и 14 соответственно. С версией ядра 5.15.102-1 мне удалось успешно передать три PCIe-устройства без проблем. Однако после обновления версии ядра появилась проблема: первые два устройства добавляются успешно, но при попытке добавить третье устройство система перестаёт загружаться. Код: IOMMU group 11 01:00.0 Ethernet controller [0200]: Intel Corporation Device [8086:125c] (rev 04)
IOMMU group 12 02:00.0 Ethernet controller [0200]: Intel Corporation Device [8086:125c] (rev 04)
IOMMU group 13 03:00.0 Ethernet controller [0200]: Intel Corporation Device [8086:125c] (rev 04)
IOMMU group 14 04:00.0 Ethernet controller [0200]: Intel Corporation Device [8086:125c] (rev 04)

dcsapak Guest	#4 0 13.06.2023 10:49:00 В какой ядро ты обновился? До 6.2? Может, попробуешь загрузиться один раз со старым ядром и скинешь оба вывода iommugroups и 'dmesg' — и со старого, и с нового?

hodor

Guest

13.06.2023 11:27:00

Перехожу с версии 5.15.102-1-pve на 6.2.9-1-pve. Прилагаю файл с нужными логами. Извини, возможно, я тебя не правильно понял. Ты имеешь в виду, запустить PVE хост один раз, или какую-то проблемную виртуальную машину один раз? РЕДАКТИРОВАТЬ: файл vm.txt содержит логи работающей ВМ.

dcsapak

Guest

14.06.2023 09:27:00

Спасибо! А есть у тебя dmesg со старого ядра, где работала ВМ? В любом случае, возможно, проблема в том, что драйвер выгружается (а в ядре 6.2 новый драйвер, который может вести себя иначе). Попробуй посмотреть, есть ли прошивка для карты. Можно попробовать заблокировать устройства/драйвер, чтобы он не привязывался к ним изначально. См. https://pve.proxmox.com/pve-docs/pve-admin-guide.html#qm_pci_passthrough

hodor Guest	#7 0 14.06.2023 11:43:00 Это dmesg из ядра версии 5.15.102-1-pve, на котором работала виртуальная машина. Спасибо за твой совет. Попробую выполнить дополнительные шаги по устранению неполадок и предоставлю тебе больше информации.

dcsapak

Guest

14.06.2023 13:58:00

Окей, если сравнивать оба раза, то похоже, проблема в драйвере, потому что единственное, что, кажется, имеет значение - это предупреждение ядра и сообщение о "потере соединения pcie". Я бы настойчиво посоветовал зачеркнуть драйвер, если это возможно, или связать устройства с vfio-pci как можно раньше, чтобы избежать какого-то странного взаимодействия драйверов.

wshgeek Guest	#9 0 15.06.2023 02:56:00 У меня тоже такая ситуация, понижение ядра помогает проходить.

hodor Guest	#10 0 15.06.2023 04:27:00 Спасибо за предложение. Попробую. И ещё, интересно, эта проблема будет решена или исправлена в будущих версиях?

amartin90 Guest	#11 0 05.04.2025 20:38:00 Тебе удалось решить проблему?

bjorn-helgaas Guest	#12 0 18.04.2025 20:25:00 Посмотри вот здесь: https://forum.proxmox.com/threads/nic-not-working-pcie-link-lost-device-now-detached.155663/ — возможно, там та же проблема и есть какое-то возможное решение.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры