http://proxmox.su Новое в теме Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 05 Apr 2026 11:21:27 +0300 Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не то ли самое с VMFS? Всегда можно все испортить, если использовать их неправильно. Например, вручную смонтировать или подключить к другому хосту и там все запутать. VMware — это тоже, по сути, система, совместимая с бинарными файлами Linux (некоторые утверждают, что там еще и ядро на базе Linux). Если хочешь что-то напортачить, то напортачишь. Ничто не сможет тебя от этого удержать. PVE, однако, обращается ко всему правильно, если ты тоже обращаешься правильно (через GUI, API, PVE-CLI). Он настолько хорош в этом, что они вообще отказались от нормальных методов блокировки, типа кластерного LVM (управляющего томами с учетом кластера), и все делают сами.
09.07.2025 21:12:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message304781/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304781/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 21:12:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Большое спасибо, это было очень полезно.
09.07.2025 18:28:00, Specimen.]]> http://proxmox.su/forum/messages/forum63/message304780/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304780/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 18:28:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это неверное ожидание. Неважно, создаёте ли вы iSCSI сессию через меню DC или вручную, верхние уровни всё равно позаботятся об эксклюзивности. Если только вы намеренно не будете пытаться её нарушить. Верно. Для CAF есть очень мало Open Source вариантов, ни один из них не поддерживается или одобрен PVE напрямую. Но вы можете использовать их, если хотите. Corosync и pmxcfs — это строительные блоки, а "интеллект" заботы о дисках находится выше них. Вы можете принудительно использовать диски одновременно для нескольких ВМ, если ваши ВМ оборудованы надлежащими "ограждениями". Это может быть полезно, если вы запускаете виртуализированный кластер. Чекбокс просто сообщает узлам PVE, что ожидается, что этот хранилище будет доступен на всех узлах. Он не делает хранилище общим. "Интеллект" действительно на уровне ВМ. Не хочется запускать дубликаты идентичных ВМ. Это плохо для сети, приложений и хранилища. Давайте просто скажем "да" здесь. Это не нужно. Если кто-то намеренно будет плохо управлять VMFS, существует также риск повреждения.

Cheers Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
09.07.2025 17:48:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message304779/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304779/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 17:48:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Позвольте мне быть точнее. Я говорю об использовании только ожидаемых методов. То есть, если вы вручную создаете доступ к iSCSI-таргету через CLI, не используя меню Datacenter, то, очевидно, можно ожидать проблем с одновременным доступом. Просто чтобы убедиться, что я правильно понял: Proxmox сам по себе не использует кластерную файловую систему, вроде VMFS. Вместо этого он полагается на собственную кластерную оркестрацию (через corosync и pmxcfs) для обеспечения того, чтобы только один хост в каждый момент времени получал доступ к диску VM, даже если хранилище является общим (NFS, iSCSI и т.д.), благодаря маленькой галочке "shared". Когда используется ZFS поверх iSCSI, каждая VM получает свой собственный выделенный LUN (ZVOL, экспортированный через iSCSI), поэтому риска одновременного доступа нет, при условии, что бэкенд экспортирует каждый том независимо. Proxmox предотвращает конфликты, управляя назначениями дисков на уровне кластера, но не предоставляет низкоуровневую блокировку, как VMFS. Значит, если кто-то вручную смонтирует или получит доступ к одному и тому же LUN на двух узлах вне Proxmox, то есть риск повреждения, верно? Дайте знать, если я неправильно понял какую-либо часть. Еще раз, спасибо за ваше терпение и всю ценную информацию, которой вы делитесь.
09.07.2025 17:29:00, Specimen.]]> http://proxmox.su/forum/messages/forum63/message304778/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304778/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 17:29:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это очень расплывчатое утверждение, на которое нельзя ответить «да» или «нет». Здесь много "зависит от". PVE может разрешать эксклюзивный доступ для нескольких хостов. Это может быть важно для ваших бизнес-задач, но PVE безразлично, есть ли у вас HA на внешних устройствах. Blockbridge: ультра-низкая задержка, общая память на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox
09.07.2025 17:15:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message304777/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304777/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 17:15:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если я правильно понимаю, реальных ограничений в использовании общего хранилища нет, вне зависимости от используемой технологии. Proxmox умеет работать с многопользовательским доступом. Важно, чтобы я мог поддерживать высокую доступность для всего, что не управляется непосредственно Proxmox.
09.07.2025 16:48:00, Specimen.]]> http://proxmox.su/forum/messages/forum63/message304776/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304776/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 16:48:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Неважно, управляете ли вы хранилище на бэкенде через SSH, API или графический интерфейс, конечный результат остается прежним: LUNs, представленные PVE, являются iSCSI (raw block). Поскольку вы поручили PVE управление хранилищем на бэкенде через соответствующий плагин, оно использует свою (PVE) "интеллектуальность", чтобы убедиться, что предпринятые шаги совместимы с технологией кластера PVE. Схема ZFS/iSCSI отличается от локального ZFS. Она переносит слой ZFS на устройство хранилища на бэкенде. Насколько безопасно это устройство реализует ZFS, следует спрашивать у производителя устройства. Если это домашняя лаборатория с хранилищем без функции HA - вы, вероятно, в порядке. Blockbridge: ультра-низкая задержка совместного хранения на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox
09.07.2025 15:58:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message304775/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304775/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 15:58:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, да, это очень помогает, спасибо. Я уже смог заставить ZFS через iSCSI работать отлично (я говорю про способ, который ты используешь с SSH рядом с протоколом iSCSI). Подходит ли это хорошо для кластерной работы в отличие от традиционного ZFS?
09.07.2025 15:46:00, Specimen.]]> http://proxmox.su/forum/messages/forum63/message304774/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304774/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 15:46:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @Specimen, добро пожаловать на форум! Основной тип файла, к которому имеют доступ несколько узлов PVE в общем хранилище — это дисковый образ (похожий на VMDK в ESXi). При использовании файлового общего хранилища, такого как NFS, они обычно имеют формат QCOW2. Также можно использовать RAW, что меняет только внутреннюю структуру образа — это не влияет на то, как PVE к нему обращается. PVE использует собственные механизмы координации кластера, чтобы предотвратить одновременный доступ. Он гарантирует, что только один хост запускает ВМ за раз, тем самым получая эксклюзивный доступ к дисковому образу. При использовании iSCSI или NVMe через TCP PVE получает доступ к необработанным блочным устройствам. Эти большие LUN'ы сами по себе не являются файловыми системами. Вместо этого PVE обычно использует LVM (Logical Volume Manager) для разбиения их на более мелкие тома, которые затем отображаются на отдельные ВМ. В отличие от VMFS в ESXi, LVM не является изначально кластер-ориентированной. Однако уровень управления PVE координирует доступ к томам, чтобы обеспечить безопасное использование каждого логического тома в кластере одним хостом. Что касается ZFS, это не кластер-ориентированная файловая система. Ее нельзя безопасно совместно использовать между хостами, с PVE или без него. Это делает ее непригодной для общего хранилища в кластерной среде. Это часто обсуждаемая тема в сообществе. Мы опубликовали подробную статью в базе знаний, которая может быть особенно полезной, когда вы изучаете варианты общего хранилища в PVE: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/ Надеюсь, это поможет. Blockbridge: Сверхнизкая задержка, полностью NVMe-общего хранилища для Proxmox - https://www.blockbridge.com/proxmox
09.07.2025 15:41:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message304773/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304773/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 15:41:00 +0300 Proxmox Виртуальная Среда Общее хранилище и обработка одновременного доступа (NFS, iSCSI, ZFS поверх SAN) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем!

Пытаюсь разобраться, как Proxmox обрабатывает одновременный доступ к общему хранилищу при использовании: NFS-шар iSCSI-целей (используемых с LVM или ZFS поверх SAN/Fibre Channel).

В VMware VMFS сам заботится о координации доступа между несколькими хостами, чтобы избежать повреждений. Как Proxmox решает эту задачу?

Например, если два узла Proxmox обращаются к одному и тому же iSCSI-LUN (используемому с ZFS или LVM), какие механизмы используются для управления одновременным доступом? Тот же вопрос для NFS: полагается ли Proxmox полностью на NFS-сервер для блокировки и координации доступа? Есть ли риск повреждения данных, если хранилище неправильно используется между узлами?

Мне нужна техническая ясность: есть ли в Proxmox какие-либо встроенные функции (как VMFS в VMware) для управления этим, или вся ответственность лежит на уровне хранилища.

Спасибо.
09.07.2025 15:26:00, Specimen.]]> http://proxmox.su/forum/messages/forum63/message304772/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san http://proxmox.su/forum/messages/forum63/message304772/74949-obshchee-khranilishche-i-obrabotka-odnovremennogo-dostupa-_nfs_-iscsi_-zfs-poverkh-san Wed, 09 Jul 2025 15:26:00 +0300 Proxmox Виртуальная Среда