У меня была такая же проблема при установке Proxmox на новой системе с GPU. Что сработало — это загрузка через командную строку GRUB с добавлением video=vesa ff на время, а затем продолжение установки. После установки Proxmox я смог настроить нужные драйверы и разрешения, и экран больше не выдавал ошибку «unsupported». Если всё ещё возникают сложности, попробуйте сначала загрузиться с более старой видеокартой или даже с интегрированной графикой, чтобы пройти установщик, а потом переключитесь обратно. Для редактирования или управления видеофайлами после настройки я нашёл полезные советы на https://www.movavi.com/learning-portal/mkv-editors.html — там много практичных рекомендаций для работы.