Аспро: ЛайтШоп [тема: Proxmox 4.0, PCI passthrough сломан в нескольких аспектах]

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 29 Dec 2015 05:43:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я до сих пор использую pve-kernel 4.1.3 без проблем с passthrough, по крайней мере, пока ничего не заметил. С этим ядром, как мне кажется, всё ещё нужно указывать "driver=vfio" в guest.conf. Не уверен, не перепутаны ли группы, но я передаю через passthrough 2 USB-устройства, SSD на встроенном SATA и Radeon 270X в Windows 7, чтобы запускать Steam. В этом узле на PCI-e слотах у меня работают:
- контроллер IBM
- Radeon 270X
- Intel Quad NIC
- Broadcom NIC
29.12.2015 05:43:00, SwampRabbit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Mon, 28 Dec 2015 11:10:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я тоже не понимаю, почему проблемы с Passthrough до сих пор не исправлены в Proxmox-4!? В Proxmox-3 всё работало без проблем.
28.12.2015 11:10:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Wed, 23 Dec 2015 19:54:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Если тебе не нужен LXC, можешь установить на proxmox3 kernel proxmox 3 pve версии 3.10. Просто скачай .deb файл из репозитория proxmox3 и установи его через dpkg.
23.12.2015 19:54:00, spirit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Wed, 23 Dec 2015 14:53:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Без проблем, это вполне обоснованное замечание, и попробовать стоило! На самом деле, в Makefile патч с acs override был исключён, так что это могло быть решением. Похоже, проблема связана с ядром 4.2 — я только что наткнулся на это: парень в сообщении №2368 имеет точно такую же материнскую плату и ту же проблему, что и я, он решил её с помощью патча acs_override, но у него стояло ядро 3.15. Значит, похоже, что в Proxmox, использующем ядро Ubuntu Wily, есть проблемы с патчем acs override. Я собираюсь поставить временную Arch с ядром linux-vfio из AUR и посмотреть, сохранится ли проблема. Добавлено: Окей, проблема всё ещё есть в Arch под LTS ядром 4.1.15 с патчами acs override.
23.12.2015 14:53:00, shawly.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Wed, 23 Dec 2015 12:35:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извиняюсь за путаницу, вот почему я (преждевременно) сделал такой вывод: Когда запускаю PVE 3.4 БЕЗ pcie_acs_override=downstream, группы IOMMU НЕ разделяются. Когда запускаю PVE 3.4 С pcie_acs_override=downstream, группы IOMMU разделяются. Когда запускаю PVE 4.1 С или БЕЗ pcie_acs_override=downstream, группы IOMMU НЕ разделяются. (И группировка IOMMU точно такая же, как в PVE 3.4 БЕЗ pcie_acs_override). Вот почему я подумал, что патчи не включены, ещё раз извиняюсь за путаницу.
23.12.2015 12:35:00, casparsmit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 22 Dec 2015 14:53:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ого, правда? Я думал, что они делают это, теперь многое понятно! Сейчас пытаюсь самому собрать последний ядро, хотя постоянно натыкаюсь на ошибки с зависимостями... Но если получится запустить и применить патч acs override самостоятельно, возможно, всё сработает!

P.S. Я ещё не устанавливал ядро, но патч можно применить вот так — очень просто!

P.P.S. Ну, я знал, что это слишком хорошо, чтобы быть правдой: применил патч, но проблема с группировкой так и не решилась...
22.12.2015 14:53:00, shawly.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 22 Dec 2015 14:20:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня такая же проблема: кажется, что ядро 4.2, используемое в Proxmox, не включает патчи pcie_acs_override. В PVE 3.4 (ядро 3.10) pcie_acs_override работает так, как и положено.
22.12.2015 14:20:00, casparsmit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 22 Dec 2015 11:25:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@dietmar, планируется ли скоро исправление проблемы с группировкой iommu?
22.12.2015 11:25:00, shawly.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Thu, 17 Dec 2015 14:30:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Запущен proxmox-ve: 4.1-26 (ядро: 4.2.6-1-pve). Проблема с iommu grouping всё ещё есть: мой встроенный SAS-контроллер находится в той же iommu_group, что и моя видеокарта, а это значит, что я не могу передать видеокарту виртуальной машине, если SAS-контроллер уже передан.

Содержимое /sys/kernel/iommu_groups/1/devices/:
0000:00:01.0 <- PCI bridge - 8086:0c01
0000:00:01.1 <- PCI bridge - 8086:0c05
0000:01:00.0 <- AMD Radeon HD5450 - 1002:68f9
0000:01:00.1 <- AMD Radeon Audio - 1002:aa68
0000:02:00.0 <- LSI Logic / Symbios Logic SAS2308 - 1000:0086

P.S. Очень хочу оформить подписку, чтобы мои посты наконец перестали игнорировать, но если эту проблему скоро не исправят, скорее всего, я уйду от Proxmox, так что нет смысла платить 60 баксов за то, чем я пользоваться не буду.
17.12.2015 14:30:00, shawly.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 21:09:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за информацию. А пока что: есть ли доступное ядро 4.1 для PVE-4?
04.12.2015 21:09:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 16:36:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас уже есть новое ядро с множеством исправлений — скоро загрузим его для тестирования: https://git.proxmox.com/?p=pve-kernel.git;a=summary
04.12.2015 16:36:00, dietmar.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 16:33:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
А что говорит команда Proxmox по поводу этой проблемы?
04.12.2015 16:33:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 15:08:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Могу подтвердить те же проблемы с PCI pass-through, я заметил баг, когда ВМ зависали при 8 ГБ оперативки. Я откатился на более старую версию, и пока всё работает отлично, по-моему, я переключился на ядро 4.1.3-7. Никаких тормозов, pass-through для USB и Radeon 270X работает на ура. Лично я это делал на сервере, который был оффлайн, поэтому вручную скачал ядро и установил через dpkg. Думаю, оно было в одной из бет-версий 4-й версии. Если сервер онлайн, можно просто использовать apt-get. /wiki/Package_repositories Жаль, что не могу быть точнее — ни с сервером, ни с заметками по установке.
04.12.2015 15:08:00, SwampRabbit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 14:23:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как я понимаю, это работает с ядром версии 4.1x. Могу ли я установить или использовать ядро 4.1 в PVE-4, или у этого есть какие-то минусы? Если да, как это сделать? И какое ядро сейчас самое свежее?
04.12.2015 14:23:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Fri, 04 Dec 2015 09:50:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть ли в PVE4 рабочее ядро?
04.12.2015 09:50:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Thu, 03 Dec 2015 22:37:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня точно такая же проблема: загрузка очень медленная, и происходят странные вещи. Например, без PT виртуальная машина Linux загружается очень быстро и без каких-либо сообщений, а с PT сначала зависает на BIOS, а потом появляются сообщения о видеорежиме!? (см. прикреплённое изображение). На Proxmox-3 всё работало идеально. Что там происходит?
03.12.2015 22:37:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 24 Nov 2015 23:03:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, значит, это действительно ошибка ядра. Смотрите Bug 107561 bugzilla.kernel.org/show_bug.cgi?id=107561 Надеюсь, её скоро исправят.
24.11.2015 23:03:00, twistero.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 29 Dec 2015 18:10:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, хорошие новости, ошибка исправлена в ядре 4.4 https://bugzilla.kernel.org/show_bug.cgi?id=107561. На следующей неделе попробую сделать обратный перенос патчей на ядро Proxmox 4.2.
29.12.2015 18:10:00, spirit.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 29 Dec 2015 10:46:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня очень любопытная проблема после перехода на Proxmox-4. Одна из моих ВМ — yaVDR-сервер, к которому я передаю PCIe-карту DVB-S2. В Proxmox-3 всё работало без проблем. Но теперь, когда я запускаю эту ВМ в Proxmox-4, процесс загрузки зависает примерно на 10 секунд на сообщении «Booting from Hard Disk...». Затем появляются две ошибки, и снова зависание на ~10 секунд (см. приложенный скриншот). После этого машина загружается, и, насколько я могу судить, работает как положено. В тесте без передачи PCIe-устройства процесс загрузки занимает всего несколько секунд (SSD-диск) без прерываний и ошибок — так же, как в Proxmox-3. Есть идеи?
29.12.2015 10:46:00, trendco.

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах

Tue, 27 Oct 2015 04:04:00 +0300

Proxmox 4.0, PCI passthrough сломан в нескольких аспектах Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я использую PCI passthrough на хосте Proxmox 3.4, и всегда работало без сбоев. Попытался обновиться до Proxmox 4.0 — возникла куча проблем, поэтому откатился назад и отдельно установил чистую версию 4.0 для теста.

Код:
~# pveversion -v
proxmox-ve: 4.0-16 (используемое ядро: 4.2.2-1-pve)
pve-manager: 4.0-50 (текущая версия: 4.0-50/d3a6b7e5)
pve-kernel-4.2.2-1-pve: 4.2.2-16
lvm2: 2.02.116-pve1
corosync-pve: 2.3.5-1
libqb0: 0.17.2-1
pve-cluster: 4.0-23
qemu-server: 4.0-31
pve-firmware: 1.1-7
libpve-common-perl: 4.0-32
libpve-access-control: 4.0-9
libpve-storage-perl: 4.0-27
pve-libspice-server1: 0.12.5-1
vncterm: 1.2-1
pve-qemu-kvm: 2.4-10
pve-container: 1.0-10
pve-firewall: 2.0-12
pve-ha-manager: 1.0-10
ksm-control-daemon: 1.2-1
glusterfs-client: 3.5.2-2+deb8u1
lxc-pve: 1.1.3-1
lxcfs: 0.9-pve2
cgmanager: 0.37-pve2
criu: 1.6.0-1
zfsutils: 0.6.5-pve4~jessie

Симптом 1: виртуальные машины грузятся очень медленно
В версии 4.0, если гость использует PCI passthrough, загрузка занимает очень много времени. Например, pfSense VM грузится меньше, чем за 2 минуты без passthrough, а с ним — больше 3 минут только на загрузку ядра. После загрузки ядра остальная часть загрузочного процесса проходит нормально. Похожая картина с FreeNAS VM, если я передаю SAS HBA карту напрямую.

Симптом 2: В IOMMU группе оказывается сразу несколько PCI-устройств
В версии 3.4 я передавал один порт с Intel Pro/1000 VT четырёхпортовой сетевой карты на FreeNAS VM и при этом использовал соседний порт на самом хосте. В версии 4.0, если я передаю тот же порт, соседний порт исчезает на хосте. Похоже, дело в том, что оба порта находятся в одной IOMMU группе (раньше, с ядром 2.6, такого понятия как IOMMU группы не было).

Код:
# lspci
<отсечено>
05:00.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12N3A PCI Express Switch (rev 0e)
06:02.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12N3A PCI Express Switch (rev 0e)
06:04.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12N3A PCI Express Switch (rev 0e)
07:00.0 Ethernet controller: Intel Corporation 82575GB Gigabit Network Connection (rev 02)
07:00.1 Ethernet controller: Intel Corporation 82575GB Gigabit Network Connection (rev 02)
08:00.0 Ethernet controller: Intel Corporation 82575GB Gigabit Network Connection (rev 02)
08:00.1 Ethernet controller: Intel Corporation 82575GB Gigabit Network Connection (rev 02)

# find /sys/kernel/iommu_groups/ -type l
<отсечено>
/sys/kernel/iommu_groups/13/devices/0000:05:00.0
/sys/kernel/iommu_groups/14/devices/0000:06:02.0
/sys/kernel/iommu_groups/14/devices/0000:07:00.0
/sys/kernel/iommu_groups/14/devices/0000:07:00.1
/sys/kernel/iommu_groups/15/devices/0000:06:04.0
/sys/kernel/iommu_groups/15/devices/0000:08:00.0
/sys/kernel/iommu_groups/15/devices/0000:08:00.1

Обсуждения в сети скорее всего указывают на причину медленной загрузки — это именно ядро 4.2 (bbs.archlinux.org/viewtopic.php?id=203240). При использовании собственного ядра Debian 3.16 на новой установке Proxmox 4.0 проблема с медленной загрузкой пропадает, но проблема с IOMMU группами остаётся (в том же обсуждении упоминается патчированное ядро, решающее вопрос с группировкой IOMMU).
27.10.2015 04:04:00, twistero.