Привет, я тоже столкнулся с этой проблемой, но вижу, что за это время (10 лет) в этой ветке не было ответов. Так вот, наш кластер MS2019 снова упал после обновления, и нам это надоело. Мы ищем альтернативу и настроили тестовую среду с использованием Proxmox. У нас также есть кластер из четырех узлов и два устройства ISCSI SAN. LUN-ы с обоих SAN добавлены в пул/кластер как хранилище, но я могу выбрать только одно для использования. Ладно, это может быть логично, но мне нужна задача репликации данных (зеркалирование) для двух SAN LUN. И по возможности автоматическое переключение с SAN A на SAN B (без автоматического возврата). Это для виртуальных машин на четырех узлах с 24 ядрами и двух устройствах SAN, оба с сетевыми интерфейсами 10GB. SAN не поддерживают ZFS через ISCSI. С наилучшими пожеланиями,

Привет, @bbgeek17! Спасибо за ответ. На всех серверах установлена Proxmox PVE, один сервер первоначально настроен с двумя iSCSI LUN-ами от двух устройств хранения, и на него создан кластер. После этого три других сервера присоединились к кластеру, который мы создали на первом. Мы видим LUN-ы как доступное хранилище на всех четырех серверах как "общую память". САН-устройства от QNAP, поэтому, возможно, мне стоит назвать это NAS, так как я понял, что он не поддерживает Proxmox по ssh. Он поддерживает Microsoft Hyper-V и VMware. У него есть кластерные целевые iSCSI. Оба устройства хранения имеют RAID 5 с четырьмя дисками и имеют резервированную сеть. У него нет резервирования по питанию или контроллеру, так что это, наряду с обновлениями прошивки, создает три основных риска. Возможно, репликация напрямую между устройствами хранения может стать решением, но это приведет к необходимости ручной обработки при отказе (смена IP). Я не верю, что Proxmox ssh для zfs по iSCSI поддерживается на QNAP. Мы ищем: - кластер для отказоустойчивости ВМ и балансировки нагрузки - общее iSCSI-хранилище - репликацию хранилищ между двумя сетевыми массивами для высокой доступности данных. Какой подход вы могли бы посоветовать в работе с Proxmox? С наилучшими пожеланиями,

Граница между SAN и NAS часто размыта. Первоначально SAN означал протокол блочной передачи по выделенным не сетевым каналам, т.е. FC. NAS подразумевал NFS и CIFS. В наши дни, с сетевыми скоростями, достигающими 400 Гбит и превышающими FC, традиционные протоколы SAN перешли на Ethernet, так как это проще в реализации и дешевле. В общем, в сфере хранения данных NAS=CIFS,NFS, SAN=iSCSI,NVMe/TCP. Это не один из параметров, определяющих SAN или NAS. Вы говорите о ZFS/iSCSI, уникальном сочетании технологий, используемых одним из плагинов хранения Proxmox. Как вы правильно отметили, это требует a) совместимого iSCSI-демона b) совместимой реализации ZFS c) возможности управлять обоими через SSH. Насколько я знаю, QNAP не является одним из совместимых устройств хранения. Однако могут быть неофициальные плагины, где-то в сети. Реализовать защиту дисков RAID легко и дешево, а затем экспортировать это через NFS/CIFS/iSCSI - все компоненты доступны в Open Source, и вы можете сделать это на любом сервере Linux. По этой причине на рынке домашних и полупрофессиональных решений так много поставщиков, предлагающих подобные решения. Надежная реализация с высокой доступностью стоит дороже и обычно требует от клиента подходящего оборудования и программного обеспечения. Эти две вещи не связаны напрямую. Возможность использовать ZFS/iSCSI не подразумевает бесшовную высокую доступность на стороне хранения. У вас есть эти два решения с QNAP или фактически любым сервером Linux, который экспортирует диск или файл через iSCSI. Вам нужно различать высокую доступность между площадками и восстановление после катастроф. Для HA вам традиционно придется инвестировать в что-то вроде Netapp Snapmirror (синхронное) или технологию, подобную EMC SRDF. Восстановление после катастроф, без синхронной репликации, подразумевает некоторую потерю данных и изменение IP-адресов и других дескрипторов, что требует ручного вмешательства. Это может быть единственным путем для достижения всех желаемых целей в рамках ваших существующих решений хранения. По сути, вы создаете свою собственную репликацию, которая независима от вашего хранилища (не зависит от какой-либо уникальной функциональности хранения) и находится вне PVE. Как упоминалось в обсуждении, "все самодельное". Убедитесь, что у вас есть хорошая документация и обучение, чтобы учитывать фактор "автобуса". Blockbridge: Ультранизкоуровневое хранилище на основе NVME для Proxmox - https://www.blockbridge.com/proxmox