Привет, @Specimen, добро пожаловать на форум! Основной тип файла, к которому имеют доступ несколько узлов PVE в общем хранилище — это дисковый образ (похожий на VMDK в ESXi). При использовании файлового общего хранилища, такого как NFS, они обычно имеют формат QCOW2. Также можно использовать RAW, что меняет только внутреннюю структуру образа — это не влияет на то, как PVE к нему обращается. PVE использует собственные механизмы координации кластера, чтобы предотвратить одновременный доступ. Он гарантирует, что только один хост запускает ВМ за раз, тем самым получая эксклюзивный доступ к дисковому образу. При использовании iSCSI или NVMe через TCP PVE получает доступ к необработанным блочным устройствам. Эти большие LUN'ы сами по себе не являются файловыми системами. Вместо этого PVE обычно использует LVM (Logical Volume Manager) для разбиения их на более мелкие тома, которые затем отображаются на отдельные ВМ. В отличие от VMFS в ESXi, LVM не является изначально кластер-ориентированной. Однако уровень управления PVE координирует доступ к томам, чтобы обеспечить безопасное использование каждого логического тома в кластере одним хостом. Что касается ZFS, это не кластер-ориентированная файловая система. Ее нельзя безопасно совместно использовать между хостами, с PVE или без него. Это делает ее непригодной для общего хранилища в кластерной среде. Это часто обсуждаемая тема в сообществе. Мы опубликовали подробную статью в базе знаний, которая может быть особенно полезной, когда вы изучаете варианты общего хранилища в PVE: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/ Надеюсь, это поможет. Blockbridge: Сверхнизкая задержка, полностью NVMe-общего хранилища для Proxmox - https://www.blockbridge.com/proxmox

Неважно, управляете ли вы хранилище на бэкенде через SSH, API или графический интерфейс, конечный результат остается прежним: LUNs, представленные PVE, являются iSCSI (raw block). Поскольку вы поручили PVE управление хранилищем на бэкенде через соответствующий плагин, оно использует свою (PVE) "интеллектуальность", чтобы убедиться, что предпринятые шаги совместимы с технологией кластера PVE. Схема ZFS/iSCSI отличается от локального ZFS. Она переносит слой ZFS на устройство хранилища на бэкенде. Насколько безопасно это устройство реализует ZFS, следует спрашивать у производителя устройства. Если это домашняя лаборатория с хранилищем без функции HA - вы, вероятно, в порядке. Blockbridge: ультра-низкая задержка совместного хранения на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox

Это очень расплывчатое утверждение, на которое нельзя ответить «да» или «нет». Здесь много "зависит от". PVE может разрешать эксклюзивный доступ для нескольких хостов. Это может быть важно для ваших бизнес-задач, но PVE безразлично, есть ли у вас HA на внешних устройствах. Blockbridge: ультра-низкая задержка, общая память на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox

Это неверное ожидание. Неважно, создаёте ли вы iSCSI сессию через меню DC или вручную, верхние уровни всё равно позаботятся об эксклюзивности. Если только вы намеренно не будете пытаться её нарушить. Верно. Для CAF есть очень мало Open Source вариантов, ни один из них не поддерживается или одобрен PVE напрямую. Но вы можете использовать их, если хотите. Corosync и pmxcfs — это строительные блоки, а "интеллект" заботы о дисках находится выше них. Вы можете принудительно использовать диски одновременно для нескольких ВМ, если ваши ВМ оборудованы надлежащими "ограждениями". Это может быть полезно, если вы запускаете виртуализированный кластер. Чекбокс просто сообщает узлам PVE, что ожидается, что этот хранилище будет доступен на всех узлах. Он не делает хранилище общим. "Интеллект" действительно на уровне ВМ. Не хочется запускать дубликаты идентичных ВМ. Это плохо для сети, приложений и хранилища. Давайте просто скажем "да" здесь. Это не нужно. Если кто-то намеренно будет плохо управлять VMFS, существует также риск повреждения.

Cheers Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox