Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Проблемы с передачей PCI.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Проблемы с передачей PCI., Proxmox Виртуальная Среда
     
    Discolai
    Guest
    #1
    0
    16.02.2020 22:06:00
    Привет! У меня проблема с настройкой IOMMU для передачи PCI на моем сервере. Это HP ProLiant DL380 Gen9 с Proxmox 6.0-4. Все опции виртуализации включены в BIOS, включая vt-d. Я следовал инструкциям из wiki по настройке поддержки IOMMU, но Proxmox по-прежнему не обнаруживает IOMMU при попытке добавить новое устройство PCI в VM. Кроме того, все устройства в выпадающем списке отображаются как принадлежащие к одной группе IOMMU "-1".  Вывод из "dmesg | grep -e DMAR -e IOMMU" следующий:

    [ 0.027294] ACPI: DMAR 0x000000007B7E7000 00032A (v01 HP ProLiant 00000001 HP 00000001)
    [ 3.746102] DMAR: Host address width 46
    [ 3.746106] DMAR: DRHD base: 0x000000fbffc000 flags: 0x0
    [ 3.746118] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
    [ 3.746123] DMAR: DRHD base: 0x000000c7ffc000 flags: 0x1
    [ 3.746132] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap 8d2078c106f0466 ecap f020df
    [ 3.746137] DMAR: RMRR base: 0x00000079174000 end: 0x00000079176fff
    [ 3.746141] DMAR: RMRR base: 0x000000791f4000 end: 0x000000791f7fff
    [ 3.746145] DMAR: RMRR base: 0x000000791de000 end: 0x000000791f3fff
    [ 3.746149] DMAR: RMRR base: 0x000000634a1000 end: 0x000000674a0fff
    [ 3.746153] DMAR: RMRR base: 0x000000674a1000 end: 0x0000006b4a0fff
    [ 3.746156] DMAR: RMRR base: 0x000000791cb000 end: 0x000000791dbfff
    [ 3.746160] DMAR: RMRR base: 0x000000791dc000 end: 0x000000791ddfff
    [ 3.746166] DMAR-IR: IOAPIC id 10 under DRHD base 0xfbffc000 IOMMU 0
    [ 3.746171] DMAR-IR: IOAPIC id 8 under DRHD base 0xc7ffc000 IOMMU 1
    [ 3.746174] DMAR-IR: IOAPIC id 9 under DRHD base 0xc7ffc000 IOMMU 1
    [ 3.746178] DMAR-IR: HPET id 0 under DRHD base 0xc7ffc000
    [ 3.746182] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
    [ 3.747344] DMAR-IR: Enabled IRQ remapping in x2apic mode
     
     
     
    D0doooh
    Guest
    #2
    0
    18.12.2022 03:18:00
    Ребята, у кого-нибудь получилось это запустить? @User5665, @lhorace или @Discolai? Я тоже столкнулся с той же проблемой…
     
     
     
    User5665
    Guest
    #3
    0
    18.12.2022 09:25:00
    Привет @D0doooh, у меня, похоже, была неисправна PCI-карта (SAS HBA контроллерная карта). Купил новую и, насколько я помню (было это несколько месяцев назад), следовал официальной документации.
     
     
     
    User5665
    Guest
    #4
    0
    26.04.2022 16:34:00
    Привет, Discolai! У меня точно такие же проблемы с моим ProLiant DL380 gen9, когда пытаюсь включить IOMMU в Proxmox v7.1. Я следовал официальной инструкции по включению Passthrough PIC, но вывод команды "dmesg | grep -e DMAR -e IOMMU" такой же, как и у тебя:

    ```
    [ 0.023801] ACPI: DMAR 0x000000007B7E7000 000294 (v01 HP ProLiant 00000001 HP 00000001)
    [ 0.023902] ACPI: Reserving DMAR table memory at [mem 0x7b7e7000-0x7b7e7293]
    [ 1.404101] DMAR: Host address width 32
    [ 1.404105] DMAR: DRHD base: 0x000000fbffc000 flags: 0x0
    [ 1.404119] DMAR: dmar0: reg_base_addr fbffc000 ver 1:0 cap d2078c106f0466 ecap f020df
    [ 1.404128] DMAR: DRHD base: 0x000000c7ffc000 flags: 0x1
    [ 1.404137] DMAR: dmar1: reg_base_addr c7ffc000 ver 1:0 cap d2078c106f0466 ecap f020df
    [ 1.404144] DMAR: RMRR base: 0x00000079174000 end: 0x00000079176fff
    [ 1.404151] DMAR: RMRR base: 0x000000791f4000 end: 0x000000791f7fff
    [ 1.404157] DMAR: RMRR base: 0x000000791de000 end: 0x000000791f3fff
    [ 1.404163] DMAR: RMRR base: 0x000000791cb000 end: 0x000000791dbfff
    [ 1.404170] DMAR: RMRR base: 0x000000791dc000 end: 0x000000791ddfff
    [ 1.404178] DMAR-IR: IOAPIC id 10 under DRHD base 0xfbffc000 IOMMU 0
    [ 1.404185] DMAR-IR: IOAPIC id 8 under DRHD base 0xc7ffc000 IOMMU 1
    [ 1.404190] DMAR-IR: IOAPIC id 9 under DRHD base 0xc7ffc000 IOMMU 1
    [ 1.404195] DMAR-IR: HPET id 0 under DRHD base 0xc7ffc000
    [ 1.404200] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
    [ 1.405227] DMAR-IR: Enabled IRQ remapping in x2apic mode
    ```

    Я не понимаю, что это может означать. Я проверил настройки в BIOS сервера. "vt-d", который был единственной настройкой, которую я смог найти, включен (см. прикрепленный скриншот настроек BIOS). Если я ввожу команду, предоставленную Ihorace:

    ```
    if compgen -G "/sys/kernel/iommu_groups/*/devices/*" > /dev/null; then
       echo "AMD's IOMMU / Intel's VT-D is enabled in the BIOS/UEFI."
    else
       echo "AMD's IOMMU / Intel's VT-D is not enabled in the BIOS/UEFI"
    fi
    ```

    вывод:

    ```
    AMD's IOMMU / Intel's VT-D is not enabled in the BIOS/UEFI
    ```

    Хотя я и включил его (см. прикрепленный скриншот настроек BIOS)! Команда:

    ```
    find /sys/kernel/iommu_groups/ -type l
    ```

    не выдает никакого вывода вообще. Я в тупике... какое у тебя было решение? Я знаю, что мои CPU E5-2650 v3 от Intel поддерживают IOMMU. Я не смог проверить, поддерживает ли материнская плата, так как не смог найти номер модели, но мне кажется странным, что серверная материнская плата этого уровня не поддерживает это. Я проверил, в каком режиме загрузки сервер использует и это UEFI согласно информации в BIOS. Я редактировал - /etc/default/grub и - /etc/kernel/cmdline и использовал команды: -update-grub и -proxmox-boot-tool refresh соответственно, так как сначала, когда я обновлял только grub, это не работало. Я также настроил модули в /etc/modules и запустил "update-initramfs" для обновления модулей ядра. Я перезагружал сервер после каждого изменения командой "reboot" в Proxmox CLI.
    Спасибо заранее за любую помощь!
     
     
     
    User5665
    Guest
    #5
    0
    26.04.2022 16:36:00
    Привет, Ихорац! Я только что прокомментировал первоначальный вопрос от Discolai. Попробовал твой код, и он выдал "AMD's IOMMU / Intel's VT-D is not enabled in the BIOS/UEFI", хотя я настроил Intel's VT-D в BIOS. У тебя есть какие-нибудь идеи? Буду очень благодарен за помощь!
     
     
     
    D0doooh
    Guest
    #6
    0
    18.12.2022 09:57:00
    Привет, спасибо за ответ! Это значит, что ты ничего особенного не делал? И у тебя последняя версия Proxmox 7.3? Никакого другого ядра или чего-то подобного? Просто не могу полностью активировать IOMMU. Я уже пробовал разные вещи, но дальше не продвигаюсь.
     
     
     
    leesteken
    Guest
    #7
    0
    18.12.2022 10:08:00
    Какая у тебя материнская плата, модель и производитель? Какая выдача команды cat /proc/cmdline? И выдача следующей команды: for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU group %s ' "$n"; lspci -nns "${d##*/}"; done (без использования pcie_acs_overide)?
     
     
     
    D0doooh
    Guest
    #8
    0
    18.12.2022 10:39:00
    Привет @leesteken, вот мои данные: Информация о материнской плате Производитель: HP Наименование продукта: ProLiant DL380 Gen9 Версия: Не указана Тебе нужна какая-то дополнительная информация? Сейчас у меня кастомное ядро, и в противном случае я полностью переустановлю его на текущую версию Proxmox, потому что сейчас все немного напортачено, я крутил все настройки, чтобы оно работало.

    cat /proc/cmdline
    Код: initrd=\EFI\proxmox\5.19.7-2-pve-relaxablermrr\initrd.img-5.19.7-2-pve-relaxablermrr root=ZFS=rpool/ROOT/pve-1 boot=zfs

    Мне пришлось загрузить сюда, потому что слишком длинно: https://pastebin.com/raw/GktafBUe

    Большое спасибо!
     
     
     
    leesteken
    Guest
    #9
    0
    18.12.2022 11:17:00
    Раз у тебя HP, возможно, есть проблемы с RMRR, которые можно исправить обновлением BIOS, но это уже другая задача, после того как включишь IOMMU в Proxmox. У тебя система Intel, и там нет intel_iommu=on. Значит, скорее всего IOMMU отключен (в Proxmox). Похоже, отсутствует небольшой фрагмент в начале (что-то вроде IOMMU group *), но это подтверждает, что IOMMU выключен (в Proxmox). У твоей системы, вероятно, systemd-boot вместо GRUB, но проверь, как показано в инструкции. Проверь cat /etc/kernel/cmdline на наличие intel_iommu=on. Если его там нет, добавь его (на той же строке и не добавляй никаких других строк) (и запусти proxmox-boot-tool refresh) и перезагрузись.
     
     
     
    D0doooh
    Guest
    #10
    0
    18.12.2022 11:41:00
    Ладно, это вообще стоит использовать GRUB? То есть у меня пока ничего настроено не было, только стандартная установка? Но сейчас я кое-что подкрутил в systemd, и вот что выводится после перезагрузки: Код: initrd=\EFI\proxmox\5.19.7-2-pve-relaxablermrr\initrd.img-5.19.7-2-pve-relaxablermrr root=ZFS=rpool/ROOT/pve-1 boot=zfs intel_iommu=on relax_rmrr iommu=pt. После этих настроек оно теперь отображается. https://pastebin.com/raw/sDDqQ8RS. Иначе я, кажется, действительно опять – переустановлю Proxmox 7.3, установлю GRUB в качестве загрузчика с правильными параметрами и обновлю BIOS. Тогда всё должно заработать нормально, верно?
     
     
     
    User5665
    Guest
    #11
    0
    18.12.2022 11:49:00
    Привет @D0doooh, так как я это настраивал давным-давно, я уже совсем не помню, делал ли что-то особенное. Помню, что следовал официальной документации Proxmox и использовал эту тему: https://forum.proxmox.com/threads/i...fter-following-guide.93756/page-2#post-466710 -> господин/госпожа leesteken мне помогли. Надеюсь, эта тема может предоставить дополнительную информацию. Извини, но больше я тебе ничего не скажу.
     
     
     
    leesteken
    Guest
    #12
    0
    18.12.2022 11:52:00
    systemd-boot — это нормально для установок Proxmox, которые загружаются в режиме UEFI с ZFS пула. Это не твой выбор, это выбор разработчиков Proxmox. Ты можешь почитать об этом в руководстве Proxmox. IOMMU включен, потому что, как ты теперь видишь, у тебя несколько групп IOMMU. Предполагаю, что это решает твою проблему? Не знаю, у тебя всё ещё может быть проблема с RMRR, которая встречается на некоторых системах HP. Если тебе очень нужен GRUB, тебе придётся переустановить в Legacy режиме вместо UEFI, но Proxmox в будущем всё равно может перейти на systemd-boot для всех систем, так зачем заморачиваться? Может, стоит попробовать обычное ядро PVE и поэкспериментировать с теперь работающим IOMMU, чтобы не начинать всё сначала.
     
     
     
    D0doooh
    Guest
    #13
    0
    18.12.2022 12:01:00
    Окей, теперь понятно. Думаю, обновление BIOS точно не повредит, сейчас займусь этим. Хочу обновить до официального ядра, а также до текущей версии. Я так много на текущей системе поколдовал, так что и так думаю, переустановлю всё равно. Хотя кто знает, вдруг какая-нибудь зависимость потом всё сломает… Огромное спасибо ещё раз! Теперь я довольно оптимистично настроен и надеюсь, что всё получится.
     
     
     
    D0doooh
    Guest
    #14
    0
    18.12.2022 12:02:00
    Спасибо за ответ, да, думаю, сейчас заработает, благодаря этой угрозе и помощи @leesteken.
     
     
     
    D0doooh
    Guest
    #15
    0
    18.12.2022 16:07:00
    Кажется, все работает, я могу назначить сетевую карту виртуальной машине и проблем нет. Не могу завершить настройку, пока не буду на месте, потому что я просто настроил ее удаленно, и, к сожалению, у меня нет роботизированной руки, чтобы подключить кабели… записываю в список дел: построить роботизированную руку… Мой последний вопрос: как вообще могла возникнуть эта проблема с RMRR и как ее можно проверить?
     
     
     
    leesteken
    Guest
    #16
    0
    18.12.2022 16:30:00
    ВМ с passthrough не будут запускаться, и сообщение об ошибке (где-то) будет содержать RMRR и посоветует обратиться к поставщику (или что-то в этом роде).
     
     
     
    fbeye
    Guest
    #17
    0
    20.08.2023 05:07:00
    Не хочу поднимать новый вопрос по старой теме, но кажется, у меня та же проблема. Это HPE Proliant DL380 Gen 9; я проверил, и сейчас еще раз убедился, что все виртуальные опции включены. Что бы я ни делал, IOMMU не включается. А мой файл GRUB выглядит так, как я добавил;
     
     
     
    leesteken
    Guest
    #18
    0
    20.08.2023 08:40:00
    intel_iommu=on отсутствует, и IOMMU не включится в Proxmox. В руководстве описано, как добавить его, в зависимости от загрузчика (небольшая ошибка в руководстве: для Intel он всё ещё нужен после ядра 5.14). Вы использовали неправильные кавычки. Не используйте ” или ” – используйте правильные " . Вы скопировали их с веб-сайта или офисного документа? Не используйте pcie_acs_override=downstream,multifunction, кроме как в крайнем случае (и это очень небезопасно). Как и mitigations=off, VMs могут красть данные у других VMs и у хоста Proxmox.
     
     
     
    fbeye
    Guest
    #19
    0
    20.08.2023 18:26:00
    Вот это меня совсем сбивает с толку... Когда я редактирую /etc/kernel/cmdline, там пусто! Даже не знаю, откуда `cat /proc/cmdline` берет информацию. Да, я скопировал и вставил строку в /etc/default/grub. Ну вот, блин, я почти уверен, что он использует grub!! Когда я устанавливал, ничего не указывал, если только он не использует grub по умолчанию… Может, и нет.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры