Аспро: ЛайтШоп [тема: Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.]

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Thu, 07 Nov 2024 10:37:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не торопись из-за меня. Я уже обошёл эту проблему, и, возможно, попробую установить Proxmox на USB-накопитель как можно проще с файловой системой ext4, чтобы не приходилось каждый раз отменять это решение. Но какая-нибудь документация о том, как работать с bisecting изменений Ubuntu между двумя версиями ядра Proxmox, может быть полезна и другим в будущем.
07.11.2024 10:37:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Thu, 07 Nov 2024 10:02:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, действительно, разделение с сохранением ZFS-данных — задача не из легких, сам никогда так не делал... Если все же хочешь попробовать, мне придется немного покопаться и составить небольшую инструкцию, как это сделать, но боюсь, не уверен, когда у меня для этого найдется время.
07.11.2024 10:02:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Wed, 06 Nov 2024 19:23:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не особо уверен, но и сам ничего не знаю о компиляции ядер. В последний раз я это делал на Gentoo, который делает это за меня. Мне нужен ZFS (и я хотел бы продолжать использовать эту систему, пока я это как-то отлаживаю, иначе можно сделать отдельную установку Proxmox). Я сделал первый бисект (начало, плохое и хорошее) на подмодуле ядра, и `make build-dir-fresh && make deb` падает через некоторое время с `make[2]: *** [debian/rules:340: abicheck] Error 1`. EDIT: Запуск `sudo mk-build-deps -ir proxmox-kernel-6.8.12/debian/control` между ними не помог.
06.11.2024 19:23:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Wed, 06 Nov 2024 12:09:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, что пытаешься разобраться с этим. АFAIU, менять коммиты в самом репозитории pve-kernel не нужно, только в подмодуле. Если zfs тебе не нужен, можно просто собрать подмодуль. Тогда нужно скопировать файл конфигурации ядра в подмодуль как '.config', а затем выполнить 'make olddefconfig' и 'make -j bindeb-pkg' в подмодуле.
06.11.2024 12:09:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Tue, 05 Nov 2024 18:13:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Постоянно вылетает ошибка dh: error: unable to load addon sphinxdoc: Can't locate Debian/Debhelper/Sequence/sphinxdoc.pm in @INC даже после apt install devscripts dh-python на make build-dir-fresh. Может, чего-то не хватает в README? Хочу попробовать git bisect, но пока не могу собрать ветку bookwork-6.8.

EDIT: Также нужно установить apt install sphinx-common, и возникла ошибка dpkg-deb: building package 'proxmox-kernel-6.8-build-deps' in '../proxmox-kernel-6.8-build-deps_6.8.12-3_all.deb'.

EDIT2: Также нужно установить apt install asciidoc-base bison dwarves flex libdw-dev libelf-dev libiberty-dev libnuma-dev libslang2-dev libssl-dev python3-dev xmlto zlib1g-dev.

Также не знаю, как правильно выбирать коммиты для pve-kernel после chekout соответствующего тега ubuntu-kernel в submodule. Буду дальше копаться на форуме в поисках подсказок по сборке Proxmox kernel, но с моим опытом это может затянуться.

EDIT3: После checkout https://github.com/proxmox/pve-kernel/commit/a37a8d7a495c645f521b2fc5cb0e32493f8ae08f и удаления пакетов ядра и заголовков 6.8.12-1, я успешно собрал ядро 6.8.12-1 с Ubuntu-6.8.0-43.43. Боюсь, что при bisecting возникнут проблемы с abicheck...
05.11.2024 18:13:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Tue, 05 Nov 2024 13:01:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, ну после просмотра изменений, я не увидел ни одного коммита, который бы явно вызывал эту проблему (хотя я и не ядровой эксперт). Также, думаю, у нас сейчас нет лишнего оборудования, на котором можно было бы это воспроизвести. Если тебе не лень, можешь попробовать бисект ядро. Изменения между 6.8.8-4 и 6.8.12-1 соответствуют Ubuntu-ядрам Ubuntu-6.8.0-38.38 до Ubuntu-6.8.0-43.43, так что тебе нужно будет провести бисект между этими двумя тегами в подмодуле ubuntu-kernel: https://git.proxmox.com/?p=pve-kern...574e2d8539267232be;hb=refs/heads/bookworm-6.8 (в ветке bookworm-6.8) между ними примерно 2200 коммитов, что даст максимум ~12 шагов бисекта.
05.11.2024 13:01:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Tue, 05 Nov 2024 12:04:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну и нет, и это может быть совершенно не связано. Просто я заметил, что что-то другое. Это также, конечно, может быть какая-то перемена в ядре, которая не вызывает никаких изменений в выводе dmesg, и это просто отвлекающий маневр. Это гостевая система – Linux или Windows? Есть ли там какие-то логи, которые могут дать подсказку? (например, dmesg в Linux или просмотр событий в Windows). В любом случае, я посмотрю изменения в ядре для 'ucsi_ccg' и ASM3241 (если смогу найти драйвер...).
05.11.2024 12:04:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Tue, 05 Nov 2024 11:13:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не заметил этого, когда сам пытался сравнить journalctl пару месяцев назад. Воспроизведение было сделано с ранним привязыванием к vfio-pci, чтобы не допустить вмешательства ядра в работу устройства, поэтому я удивлён, что ядро пытается что-то сделать с ним. Ты уверен, что это связано с ASM3241, а не с другим контроллером USB-C, вроде того, что на AMD 6950XT? Я тоже тестировал без привязки к vio-pci, но это даёт то же поведение: некорректно работает и теряет события или прерывания или что-то вроде этого, только когда происходит передача PCIe. Тот же самый контроллер USB отлично работает на хосте, с ТВ-тюнером, переданным в контейнер, используя стандартный драйвер ядра (на всех версиях ядра). Спасибо ещё раз, что разбираешься в этом, так как я знаю, что передача никогда не гарантирована, и я просто домашний пользователь (который сможет разобраться сам, если тебе потребуется слишком много времени на расследование).
05.11.2024 11:13:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Tue, 05 Nov 2024 09:11:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, ну после того, как разобрался с различиями между двумя образами, есть следующие важные отличия (без изменений адресов и прочего): в версии 6.8.12 отсутствуют следующие строки: Code: PCI: not using ECAM ([mem 0xf0000000-0xf7ffffff] not reserved)
PCI: Using configuration type 1 for extended access
PCI: ECAM [mem 0xf0000000-0xf7ffffff] (base 0xf0000000) for domain 0000 [bus 00-7f]
Зато появились эти: Code: ucsi_ccg 3-0008: failed to reset PPM!
ucsi_ccg 3-0008: error -ETIMEDOUT: PPM init failed according to https://github.com/torvalds/linux/blob/master/drivers/usb/typec/ucsi/ucsi_ccg.c это драйвер для контроллера Cypress CCGx Type-C, надо покопаться поглубже, чтобы понять, не было ли каких-то серьезных изменений в ядре для этого драйвера.
05.11.2024 09:11:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Mon, 04 Nov 2024 11:16:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, что проявили интерес. Я воспроизвёл проблему только с VM 112, которая автоматически запускается. Затем я переключаю свой 4-портовый USB-коммутатор с хоста на USB-контроллер (с только одним USB-C портом), который перенаправлен в VM. Там мышь работает, но клавиатура кажется очень тормозит, и не все нажатия/отпускания клавиш регистрируются на графическом экране входа (практически неработоспособна с версии 6.8.12-1). Затем я возвращаюсь к хосту и сохранил dmesg (для обеих версий ядра, как и просили).
04.11.2024 11:16:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Mon, 04 Nov 2024 08:33:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Можешь, пожалуйста, выложить полный dmesg для работающего ядра и для сломанного (если есть, то для самого раннего, которое вызвало проблему)? Может, там что-нибудь увидим...
04.11.2024 08:33:00, dcsapak.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Mon, 04 Nov 2024 03:19:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я только что обновился до (6.8.12-3-pve) и теперь не могу передавать USB-контроллеры, передача GPU работает отлично, а вот с USB выдаёт ошибку "TASK ERROR: Cannot bind 0000:10:00.3 to vfio". Ошибок в логах нет. Это происходит как с картой ASMEDIA PCI, так и с USB 3.0 Host Controller на борту [AMD] Matisse. Использую материнскую плату ASUS WS PRO X570. Сейчас попробую предыдущее ядро. Cheers! Решено: Нужно было добавить softdep xhci_hcd pre: vfio-pci в /etc/modprobe.d/vfio.conf.
04.11.2024 03:19:00, antplugger.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Sat, 02 Nov 2024 11:47:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Проверил на ядрах 6.11 и 6.8.12-3, но контроллер USB 3.0 по-прежнему не может одновременно обрабатывать мышь (USB 2.0) и клавиатуру (USB 1.1). У кого-нибудь есть советы по устранению неполадок или возможные обходные пути? Эта маршрутизация PCIe работала нормально до ядра Proxmox 6.8.8. Я убедился, что Proxmox загружает vfio-pci только для этого устройства. Что изменилось в драйвере VFIO между версиями 6.8.8-4-pve и 6.8.12-1-pve, что ломает этот USB-контроллер? Что я могу попробовать?

P.S. Это только у меня, или кто-нибудь еще с ASM3241 (на X570S AERO G) может это проверить? Может, мне просто отключить чип и купить другой контроллер, раз это, похоже, все еще не работает? Также тестировал без early-binding, но это не меняет ситуацию ни в одной версии ядра.
02.11.2024 11:47:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Wed, 16 Oct 2024 16:22:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, что указал на обходной путь с ядром. Я обновился с pve7 на 8 и выяснил, что передача USB контроллера через проброс вызывает падение хоста. К счастью, ядро 5.15 по-прежнему работает отлично и очень стабильно. Попробую 6.8.8-4-pve. После тестирования macOS VM всё равно входит в цикл загрузки для ядра 6.8.8-4-pve. Хм… похоже, мне придётся пока оставаться на 5.15.
16.10.2024 16:22:00, frankmanzhu.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Sun, 13 Oct 2024 11:19:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вчера обновился до версии 6.8.12.2, и это как-то сломало USB на моём LarkboxX. Через какое-то время USB-устройства перестают определяться, включая неработающую клавиатуру, если она подключена, и это также ломает passthru, разумеется. Вот "нормальная" ситуация после перезагрузки:

```
root@pve:~# lsusb
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 003 Device 002: ID 1b1f:c020 eQ-3 Entwicklung GmbH HmIP-RFUSB
Bus 003 Device 003: ID 8087:0026 Intel Corp. AX201 Bluetooth
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
root@pve:~#
```

Когда проблема возникает, в списке остаются только один USB2 и один USB3 хаб (Bus 001 & Bus 002, если я правильно помню), а все остальные, включая подключенные устройства, исчезают. Есть какие-нибудь новости по поводу этой проблемы с USB? Похоже, что проблема появилась сразу после запуска запланированного резервного копирования в 1 ночи:

```
Oct 13 00:59:01 pve pmxcfs[920]: [dcdb] notice: data verification successful
Oct 13 01:00:05 pve pvescheduler[195920]: starting task UPID:pve:0002FD51>
Oct 13 01:00:05 pve pvescheduler[195921]: INFO: starting new backup job: vzdump --mo>
Oct 13 01:00:05 pve pvescheduler[195921]: INFO: Starting Backup of VM 100 (qemu)
Oct 13 01:00:50 pve pvescheduler[195921]: INFO: Finished Backup of VM 100 (00:00:45)
Oct 13 01:00:50 pve pvescheduler[195921]: INFO: Starting Backup of VM 101 (lxc)
Oct 13 01:00:50 pve dmeventd[401]: No longer monitoring thin pool pve-data-tpool.
Oct 13 01:00:50 pve dmeventd[401]: Monitoring thin pool pve-data-tpool.
Oct 13 01:00:50 pve kernel: EXT4-fs (dm-19): mounted filesystem d6154dac-2288-4263-b>
Oct 13 01:01:05 pve kernel: EXT4-fs (dm-19): unmounting filesystem d6154dac-2288-426>
Oct 13 01:01:05 pve pvescheduler[195921]: INFO: Finished Backup of VM 101 (00:00:15)
Oct 13 01:01:05 pve pvescheduler[195921]: INFO: Starting Backup of VM 102 (qemu)
=====>
Oct 13 01:01:05 pve kernel: xhci_hcd 0000:00:14.0: remove, state 4
Oct 13 01:01:05 pve kernel: usb usb4: USB disconnect, device number 1
Oct 13 01:01:05 pve kernel: xhci_hcd 0000:00:14.0: USB bus 4 deregistered
Oct 13 01:01:05 pve kernel: xhci_hcd 0000:00:14.0: remove, state 1
Oct 13 01:01:05 pve kernel: usb usb3: USB disconnect, device number 1
Oct 13 01:01:05 pve kernel: usb 3-2: USB disconnect, device number 2
Oct 13 01:01:05 pve kernel: usb 3-10: USB disconnect, device number 3
Oct 13 01:01:05 pve kernel: xhci_hcd 0000:00:14.0: USB bus 3 deregistered
<=====
Oct 13 01:01:05 pve systemd[1]: Starting systemd-rfkill.service - Load/Save RF Kill Switch Status...
Oct 13 01:01:05 pve QEMU[1692]: kvm: libusb_release_interface: -4 [NO_DEVICE]
Oct 13 01:01:05 pve systemd[1]: Stopped target bluetooth.target - Bluetooth Support.
Oct 13 01:01:05 pve systemd[1]: Started systemd-rfkill.service - Load/Save RF Kill Switch Status.
Oct 13 01:01:06 pve systemd[1]: Started 102.scope.
Oct 13 01:01:06 pve kernel: tap102i1: entered promiscuous mode
Oct 13 01:01:06 pve kernel: vmbr1: port 4(tap102i1) entered blocking state
Oct 13 01:01:06 pve kernel: vmbr1: port 4(tap102i1) entered disabled state
Oct 13 01:01:06 pve kernel: tap102i1: entered allmulticast mode
Oct 13 01:01:06 pve kernel: vmbr1: port 4(tap102i1) entered blocking state
Oct 13 01:01:06 pve kernel: vmbr1: port 4(tap102i1) entered forwarding state
Oct 13 01:01:07 pve kernel: tap102i2: entered promiscuous mode
Oct 13 01:01:07 pve kernel: vmbr0: port 8(tap102i2) entered blocking state
Oct 13 01:01:07 pve kernel: vmbr0: port 8(tap102i2) entered disabled state
Oct 13 01:01:07 pve kernel: tap102i2: entered allmulticast mode
Oct 13 01:01:07 pve kernel: vmbr0: port 8(tap102i2) entered blocking state
Oct 13 01:01:07 pve kernel: vmbr0: port 8(tap102i2) entered forwarding state
Oct 13 01:01:07 pve kernel: vfio-pci 0000:00:14.2: enabling device (0000 -> 0002)
Oct 13 01:01:09 pve kernel: tap102i1: left allmulticast mode
Oct 13 01:01:09 pve kernel: vmbr1: port 4(tap102i1) entered disabled state
Oct 13 01:01:09 pve kernel: tap102i2: left allmulticast mode
Oct 13 01:01:09 pve kernel: vmbr0: port 8(tap102i2) entered disabled state
Oct 13 01:01:09 pve qmeventd[673]: read: Connection reset by peer
Oct 13 01:01:09 pve pvescheduler[195921]: INFO: Finished Backup of VM 102 (00:00:04)
Oct 13 01:01:09 pve pvescheduler[195921]: INFO: Starting Backup of VM 104 (qemu)
13.10.2024 11:19:00, nevermindnono.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Thu, 19 Sep 2024 15:02:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Оно всё ещё ломается вот таким странным образом с версией ядра 6.8.12-2-pve: клавиатура теряет большинство нажатий и отпусканий клавиш, когда подключена мышь. Как версия ядра хоста может быть релевантна для контроллера PCIe USB, который раннепривязан к vfio-pci (так что хост к нему не обращается) и передаётся в VM (которая не менялась)?
19.09.2024 15:02:00, leesteken.

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом.

Thu, 08 Aug 2024 17:12:00 +0300

Ядро 6.8.12 ломает проброс USB-контроллера каким-то странным образом. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я использую PCI passthrough USB контроллера [1b21:3241] к VM (с GPU тоже), включая early binding к vfio-pci и softdep, чтобы убедиться, что vfio-pci загружается до xhci_pci. Это работало долгое время (с тех пор, как до PVE 8.0, сейчас на актуальной 8.2 без подписки) и включая ядро 6.8.8-4-pve. Новое ядро сегодня с версией 6.8.12-1-pve ломает это странным образом: клавиатура не работает, когда подключена мышь, и мышь не работает, когда подключена клавиатура. Код: 05:00.0 USB controller [0c03]: ASMedia Technology Inc. ASM3241 USB 3.2 Gen 2 Host Controller [1b21:3241]
Subsystem: Gigabyte Technology Co., Ltd ASM3241 USB 3.2 Gen 2 Host Controller [1458:5007]
Kernel driver in use: vfio-pci
Kernel modules: xhci_pci

options vfio_pci ids=1b21:3241 disable_vga=1
softdep xhci_pci pre: vfio-pci Я также использую PCI passthrough другого USB контроллера [1022:149c] к другой VM (с другим GPU тоже), и это работает отлично. Я не использую early binding к vfio-pci для этого устройства, и оно правильно сбрасывается. Я использую ту же клавиатуру и мышь, используя USB-switch (KVM без V, так сказать). Код: 10:00.3 USB controller [0c03]: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller [1022:149c]
Subsystem: Gigabyte Technology Co., Ltd Matisse USB 3.0 Host Controller [1458:5007]
Kernel driver in use: vfio-pci
Kernel modules: xhci_pci Неожиданно, что passthrough зависит от версии ядра Proxmox, когда я предпринял все шаги, чтобы не допустить, чтобы ядро Proxmox касалось устройства до VM. Иначе я бы не удивился, что passthrough иногда ломается и иногда нужны новые обходные пути. Я могу обойти это, закрепив ядро 6.8.8-4-pve. И я могу провести больше тестов, например, сделать обратное – не предотвращать касание Proxmox к устройству. У кого-нибудь есть какие-нибудь идеи, почему это может происходить? Изменили ли Linux или Ubuntu что-то, из-за чего early binding и softdep на xhci_pci больше не работают в Proxmox?
08.08.2024 17:12:00, leesteken.