Собрал тут недавно домашний сервер из новых и б/у комплектующих за небольшие деньги. Первым делом установил Proxmox. Это мой первый опыт работы с proxmox, и пока что всё складывается очень даже приятно. Установил несколько виртуальных машин:
1. VM Tailscale
2. VM Batocera с passthrough GPU
3. VM TrueNAS
По задумке я планировал использовать TrueNAS в качестве NAS, а не сам Proxmox. Читал, что вместо передачи отдельных дисков нужно купить карту HBA, чтобы передавать слот PCIe, как я это сделал с GPU в VM Batocera. Так что я купил карту HBA LSI 9302-8i, которую прошили в IT-режиме (я понятия не имею, что это значит; продавец сказал, и, возможно, это полезная информация).
Вот ещё список моего другого железа:
* GIGABYTE B550M AORUS ELITE mATX
* AMD Ryzen 5 5600G
* ASUS GeForce GTX 1060 6GB
* LSI 9302-8i
Остальное, наверное, не стоит упоминать.
**Проблема**
Суть проблемы довольно проста. Как только я добавляю карту HBA в VM TrueNAS, весь сервер Proxmox просто перестаёт работать. Он не выключается и ничего подобного, а просто останавливается. Веб-интерфейс становится неотзывчивым, и когда я подключаю сервер к VM для доступа к консоли, ничего не могу написать. Хотя логи показывает:
```
Code: EXT4-fs error (device dm-1) in ext4_reserve_inode_write:5735: IO failure
EXT4-fs (dm-1): Remounting filesystem read-only
```
Первая строка варьируется довольно сильно. А вот вторая строка всегда одинакова.
К сожалению, у меня TrueNAS была настроена на автоматический запуск при загрузке Proxmox, так что после первого раза, когда я передал слот, Proxmox был практически бесполезен. Я пытался изменить конфигурацию VM, чтобы отключить автоматический запуск, но не мог найти, где хранится файл (пробовал и режим восстановления, и просто смонтировал системный диск на другую систему). В общем, я потерял терпение и просто переустановил всё. Это не имеет отношения к делу, просто небольшая жалоба.
**Что я пробовал**
Я перепробовал практически все галочки в меню опций при добавлении карты. Все комбинации. Ничего не работало. Поиск по логам в интернете сначала заставил меня думать, что мой SSD неисправен, но позже я выяснил, что карта HBA, скорее всего, передается в VM.
У меня на материнской плате два слота PCIe x16 (не знаю, позволяют ли они обе полную пропускную способность, но я мог бы установить на них два полноценных GPU). В интернете я читал про IOMMU Groups и что моя материнская плата или, в общем, чипсет B550 имеет довольно плохие группы. Насколько я понимаю, моя GPU и HBA должны быть в разных группах, чтобы я мог передавать каждую из них в отдельную VM. Я пытался искать в интернете какое-нибудь решение, но просто ничего не могу найти.
Действительно ли дело в IOMMU Groups моей материнской платы? У меня нет никаких знаний о том, что это вообще такое, и я правда не хочу покупать новую материнскую плату.
Спасибо за любые советы.
1. VM Tailscale
2. VM Batocera с passthrough GPU
3. VM TrueNAS
По задумке я планировал использовать TrueNAS в качестве NAS, а не сам Proxmox. Читал, что вместо передачи отдельных дисков нужно купить карту HBA, чтобы передавать слот PCIe, как я это сделал с GPU в VM Batocera. Так что я купил карту HBA LSI 9302-8i, которую прошили в IT-режиме (я понятия не имею, что это значит; продавец сказал, и, возможно, это полезная информация).
Вот ещё список моего другого железа:
* GIGABYTE B550M AORUS ELITE mATX
* AMD Ryzen 5 5600G
* ASUS GeForce GTX 1060 6GB
* LSI 9302-8i
Остальное, наверное, не стоит упоминать.
**Проблема**
Суть проблемы довольно проста. Как только я добавляю карту HBA в VM TrueNAS, весь сервер Proxmox просто перестаёт работать. Он не выключается и ничего подобного, а просто останавливается. Веб-интерфейс становится неотзывчивым, и когда я подключаю сервер к VM для доступа к консоли, ничего не могу написать. Хотя логи показывает:
```
Code: EXT4-fs error (device dm-1) in ext4_reserve_inode_write:5735: IO failure
EXT4-fs (dm-1): Remounting filesystem read-only
```
Первая строка варьируется довольно сильно. А вот вторая строка всегда одинакова.
К сожалению, у меня TrueNAS была настроена на автоматический запуск при загрузке Proxmox, так что после первого раза, когда я передал слот, Proxmox был практически бесполезен. Я пытался изменить конфигурацию VM, чтобы отключить автоматический запуск, но не мог найти, где хранится файл (пробовал и режим восстановления, и просто смонтировал системный диск на другую систему). В общем, я потерял терпение и просто переустановил всё. Это не имеет отношения к делу, просто небольшая жалоба.
**Что я пробовал**
Я перепробовал практически все галочки в меню опций при добавлении карты. Все комбинации. Ничего не работало. Поиск по логам в интернете сначала заставил меня думать, что мой SSD неисправен, но позже я выяснил, что карта HBA, скорее всего, передается в VM.
У меня на материнской плате два слота PCIe x16 (не знаю, позволяют ли они обе полную пропускную способность, но я мог бы установить на них два полноценных GPU). В интернете я читал про IOMMU Groups и что моя материнская плата или, в общем, чипсет B550 имеет довольно плохие группы. Насколько я понимаю, моя GPU и HBA должны быть в разных группах, чтобы я мог передавать каждую из них в отдельную VM. Я пытался искать в интернете какое-нибудь решение, но просто ничего не могу найти.
Действительно ли дело в IOMMU Groups моей материнской платы? У меня нет никаких знаний о том, что это вообще такое, и я правда не хочу покупать новую материнскую плату.
Спасибо за любые советы.
