Судя по моим небольшим настройкам и тестам, это проблема с кросс-серверным подключением. Если я использую консоль NoVNC на виртуальной машине, размещённой на том же сервере, что и веб-интерфейс, всё работает нормально. Но если пытаюсь получить доступ к ВМ, размещённой на другом сервере в кластере, получаю ошибку Unsupported security types. Хотя речь идёт о чуть других бэкенд-инструментах (я думаю, не знаю точно, что использует Proxmox), это подсказало мне правильное направление: http://stackoverflow.com/questions/6391005/novnc-to-x11vnc-ssl-connection. Так что проблема именно в попытке noVNC подключиться к "qm vncproxy" на другом хосте.

Это здесь работает, так что, скорее всего, у вас где-то проблема с коммуникацией в кластере. Пожалуйста, создайте новую тему, так как эта старая и, кажется, не по теме.