Привет @TobiasW, добро пожаловать на форум! CAF не встроена в PVE. Соответственно, нет официально поддерживаемого PVE-сертифицированного CAF. Выбор у вас ограничен свободно доступными Open Source вариантами: OCFS и GFS. Установку, настройку и поддержку придется решать вам самостоятельно. В интернете много руководств с пошаговыми инструкциями, которые вам помогут. Если вы планируете приобрести подписку на PVE и беспокоитесь о том, как саморазвертывание CAF повлияет на поддержку — вам следует напрямую обратиться в Proxmox и узнать. Все поддерживаемые опции PVE перечислены здесь: https://pve.proxmox.com/wiki/Storage. Варианты, поддерживаемые сторонними вендорами, включая Blockbridge, также доступны, но Proxmox их ни в какой мере не одобряет. Blockbridge: ультра низкая задержка, все на NVMe, совместно используемое хранилище для Proxmox - https://www.blockbridge.com/proxmox

Когда вы закончите настройку GFS, PVE будет знать только о storage pool типа "Directory" в его /etc/pve/storage.cfg. Вы отметили этот storage pool типа "Directory" как SHARED, тем самым сообщив PVE, что он должен ожидать увидеть этот pool на всех узлах кластера, и что это действительно тот же pool на всех них. Live migration будет работать так же, как и на NFS pool. PVE кластер будет передавать владение файлами QEMU между узлами по мере необходимости. В общем, есть два способа гарантировать поддержку со стороны производителя: a) использовать полностью поддерживаемую инфраструктуру и настроить её; b) заключить индивидуальный контракт, в котором будут прописаны ваши отклонения как поддерживаемые. Если вы обращались в Proxmox Server Solutions GmbH, и они сказали, что вы можете развернуть всё так, я не вижу причин сомневаться.

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

Мы слышим это от потенциальных клиентов каждый день. Некоторые вложились в довольно серьезные системы хранения SAN высокого класса. Так что можете вздохнуть с облегчением, зная, что вы не одиноки в этом путешествии. Удачи, Blockbridge! Ультра низкая задержка, система хранения на базе всех NVMe для Proxmox - https://www.blockbridge.com/proxmox

Я бы выбрал NFS. Сколько и какие диски внутри ME5?

Почему нельзя? Очень мало дисков для системы, которая поддерживает далеко более 300... Сделай 1x raid6 с твоими 6 дисками или 1x raid10. Создай один том и подключи его ко всем 6 портам к 3 серверам, настроить ту же мультипуть на всех 3 серверах, mkfs.xfs (/ext4) на томе на одном сервере (например, pve1) и смонтируй его как /me5, имея только директорию /me5 на всех 3 серверах, экспортируй /me5 с определением fsid на все 3 сервера. Определи "летающий" статический IP в той же подсети, что и 3 сервера, в твоем DNS (или 3 раза локально в /etc/hosts) и установи его как второй IP на твоем, например, pve1 (например, если твои 3 сервера имеют 192.168.1.31+32+33). Определи в хранилище датацентра /me5 как общий NFS. Выполняя регулярно обновления PVE на всех 3 серверах с настройками PVE vm/lxc ha и режимом обслуживания узла, не нужно перемещать том между ними, потому что NFS-клиенты ждут перезагрузки NFS-сервера и всё (vm/lxc) идет нормально после перезагрузки, монтирования, повторного экспорта и получения IP. Если pve1 имеет проблемы с оборудованием, выключи его, смонтируй том на, например, pve2, повторно экспортируй и установи "летающий" IP на pve2 тоже, ручной failover выполнен. Тебе просто нужно быть в курсе, чтобы монтировать файловую систему тома только на одном хосте в любой момент времени, поэтому никогда не определяй в fstab без "nofail,noauto,...", как положено, чтобы монтировать её вручную или, например, как pacemaker и т.д., второе — делай то же самое с "летающим" IP, который должен быть определен только на хосте с файловой системой.

ME5024 – это устройство блочного хранилища. Похоже, требования к дизайну в PVE отдают предпочтение интеграции с Ceph, а не оптимизации для общего SAN. Это не значит, что SAN использовать нельзя, просто стоит учитывать, какие компромиссы вы готовы/способны выдержать для использования в продакшене, а именно:

1. Если вы можете обойтись без снапшотов, вы можете использовать свой SAN для пулов LVM-think. У вас всё равно останется преимущество тонкого выделения, поскольку этим занимается сам SAN.
2. Если снапшоты необходимы, вы можете напрямую подключить отдельные LUN к своим гостевым системам. Вам придется управлять снапшотами вне PVE и отдельно обрабатывать приостановку работы гостевой системы (это можно скриптовать/автоматизировать, но это будет зависеть от вас). Если у вас есть ресурсы и бюджет на разработку, вы можете создать плагин хранилища для PVE, который обеспечит интеграцию – и, пожалуйста, опубликуйте его обратно в PVE, чтобы другие могли воспользоваться; ME5024 использует контроллеры dothill's, которые используются во множестве коммерческих продуктов.
3. Если вы готовы потратить деньги, вы можете обратиться к Blockbridge, чтобы они предоставили необходимую "связку" для полной функциональности.

Если ты хочешь так заморочиться, давай, делай что хочешь; в любом случае, тебе тогда NFS не понадобится. В любом случае, ни один из этих вариантов не подходит для реального использования. Если хочешь использовать это в своей домашней лаборатории, я тебя не остановлю.

В веселье ты и попляшешь. Удачи!

Может, я не совсем правильно выразился. Попробую объяснить по-другому: то, как описывал Вальтар, выглядело мне вполне подходящим для домашней/тестовой лаборатории, но я бы не хотел использовать это как производственную систему для компании. Ну, мы используем кластер в основном для обеспечения высокой доступности. Все хосты спроектированы так, чтобы выдерживать полную нагрузку (на данный момент это 2-узловой кластер, 3 узла будет 2 тогда). Конечно, узлы могут распределять нагрузку, работая вместе, но в случае обновления или сбоя один узел может справиться с этим, что дает время на исправление. Да, они имели в виду PVE. Если это работает хорошо, почему я не могу использовать это напрямую из графического интерфейса? Я не видел файловой системы, которая работала бы из коробки (вроде gfs2). В противном случае, возможно, мне лучше купить iSCSI-хранилище, а не с HBA-подключением.