http://proxmox.su Новое в теме Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 14 Nov 2026 03:44:35 +0300 Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Можно, но не стоит по нескольким причинам. Храни свою ОС на локальных дисках. Ceph разработан, чтобы предоставлять те же хранилищные сервисы, что и твой SAN. Это, очевидно, уменьшит доступную емкость, станет значительно медленнее, чем родное хранилище, и документация прямо-таки предупреждает об этом, потому что RAID-контроллеры вводят кэширование/перераспределение LBA, которые мешают работе Ceph OSD.
14.06.2025 18:41:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message319174/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319174/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Sat, 14 Jun 2025 18:41:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Способы снижения рисков включают в себя уменьшение потенциальных ошибок в решении и предоставление средств смягчения последствий. Никто никогда не утверждает, что ошибка НЕ может привести к сбою. Ваши так называемые "сверхнадёжные" поставщики хранилищ данных вкладывают огромные средства в снижение/смягчение рисков, а не в их устранение. Тот факт, что у вас произошёл простой, не меняет относительную ценность вашего решения по сравнению с другими. Вы, очевидно, были готовы к такой возможности и смогли возобновить работу. Почему это должно привести к потере доверия?
14.06.2025 18:34:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message319173/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319173/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Sat, 14 Jun 2025 18:34:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В прошлом году, из-за инцидента с электропитанием, мы потеряли два Dell EMC PowerStore 1000T (оба контроллера и весь массив на каждом узле вышли из строя), а вместе с ними – все ВМ на них и один из двух Brocade-коммутаторов. Все эти устройства работали на базе виртуализации ESXi. Электропитание обеспечивал APC Symmetra PX мощностью 160 кВт, но это не помогло. Пришлось восстанавливать всё из бэкапов и вытаскивать старые системы хранения из запасов, чтобы вернуть ВМ обратно. Вывод: чем больше узлов, на которые распределена система хранения данных, тем лучше.

P.S.: После этого инцидента я больше не доверяю "сверхнадёжным" системам хранения данных от вендоров.
14.06.2025 16:05:00, Archangel.]]> http://proxmox.su/forum/messages/forum63/message319172/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319172/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Sat, 14 Jun 2025 16:05:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо всем. У меня появилась идея. Не уверен, насколько это реалистично. Я планирую напрямую установить систему PVE на общий сторадж и запустить, а потом добавить её в Ceph, чтобы она служила сервером хранения для всех нод. Как думаете, этот план осуществим?
14.06.2025 06:08:00, jiantao.]]> http://proxmox.su/forum/messages/forum63/message319171/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319171/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Sat, 14 Jun 2025 06:08:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, этот вопрос задают каждый день. Не знаю, кого отметить, но было бы неплохо запостить что-то вроде закрепленного сообщения. Да, см. https://pve.proxmox.com/wiki/ISCSI_Multipath для настройки мультипути. Что касается настройки пула хранилища, у вас есть 2 варианта (3, если учитывать CFS, но это не поддерживается никем). Прежде чем продолжить обсуждение вариантов, пожалуйста, ознакомьтесь с https://pve.proxmox.com/wiki/Storage для полного обсуждения того, какую встроенную поддержку предоставляет набор инструментов PVE.

Вариант 1: использовать LUN в качестве пула хранилища. Согласно руководству пользователя: обратите внимание, что поддерживается только LVM-Thick, поэтому снимки не будут доступны.

Вариант 2: использовать LUN в качестве диска, подключенного к гостевой ОС. Этот метод потенциально может быть более производительным, чем LVM, поскольку он не подвержен многократному конфликту инициатора (при использовании для нескольких дисков ВМ), но главное преимущество – его область действия ограничена одной гостевой ОС. Это делает практичным использование аппаратных снимков хранилища, которые доступны только одной гостевой ОС для управления выключением, но потребуется ручная организация снимков. Недостаток в том, что из-за отсутствия синхронизации между PVE и хранилищем, управление LUN приходится выполнять вручную для каждого диска — это мучительно и имеет больший потенциал для ошибок.

Вариант 3: использовать Cluster-aware файловую систему (CFS). Есть два известных варианта, которые "работают" на Debian: gfs2 и ocfs2. Ни один из них не поддерживается хорошо, и нет интеграции или оркестровки, встроенной в PVE. Фактически, вы предоставите управление и монтирование CFS на ваших узлах и используете метод "Directory" для предоставления пула хранилища. Все вышеперечисленные варианты предоставляют возможность безопасного подключения к кластеру.

Как упоминалось выше, если вы используете вариант 1, вы будете использовать LVM поверх iSCSI. Thin-LVM использовать нельзя. ZFS поверх iSCSI — это особый случай, который применим к решениям хранения, которые используют ZFS в качестве хранилища И предоставляют API, для которого в PVE предоставлен плагин (ssh+zfs tooling). Этот вариант позволяет использовать API, предоставляемый вашим хранилищем для управления созданием Zvol, снимками и т.д., что фактически обеспечивает интеграцию для развертывания типа вариант 2. Если вы не знаете, какой тип целей используется вашим хранилищем, этот вариант, вероятно, не жизнеспособен. Если вас достаточно мотивированы, возможно, вы сможете написать свой собственный плагин для конкретного решения хранения — на форумах есть примеры людей, которые это делали.

"Предпочтительный" – это нагруженный термин. Простой ответ — нет, но это действительно зависит от сценария использования и ожиданий оператора. Почти любое решение, которое предоставляет целевой объект с плагином (см. 3) И предоставляет доступ по SSH с достаточными разрешениями для выдачи команд ZFS и целей, будет работать. Windows Server не является открытым исходным кодом, и нет того, что я бы назвал поддерживаемым вариантом ZFS для Windows.

Мультипути обрабатывается демоном (multipathd), который является стандартным программным обеспечением Linux. Интеграция C&C в PVE, насколько я знаю, отсутствует. Смотрите https://manpages.debian.org/bookworm/multipath-tools/multipathd.8.en.html для получения дополнительной информации.
13.06.2025 22:40:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message319170/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319170/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 22:40:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не с двух контроллерами хранения и двумя FC или сетевыми коммутаторами.
13.06.2025 22:12:00, floh8.]]> http://proxmox.su/forum/messages/forum63/message319169/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319169/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 22:12:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, попробовать что-то вроде этого? https://cstan.io/en/post/2024/01/proxmox-und-ocfs2-shared-storage/
13.06.2025 20:29:00, PwrBank.]]> http://proxmox.su/forum/messages/forum63/message319168/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319168/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 20:29:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я согласен с автором. На одном из сайтов есть кластер из 3 серверов HPE DL360 Gen10 с хранилищем HPE MSA2050. Сервера подключены к хранилищу по FC. На lun's создан "толстый" LVM и он совместно используется всеми хостами. Всё работает отлично.
P.S. Не забудьте, что хранилище FC/iSCSI — это "единственная точка отказа", и для больших продакшн-окружений лучше использовать Ceph.
P.P.S. На скриншоте — кластер для моей команды разработчиков =)
13.06.2025 14:03:00, Archangel.]]> http://proxmox.su/forum/messages/forum63/message319167/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319167/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 14:03:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, это нереально. Попробуйте обратиться к этой статье базы знаний: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/ Blockbridge: ультра-низкая задержка, хранилище общего доступа на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox
13.06.2025 13:52:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message319166/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319166/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 13:52:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо! Возник вопрос: реально ли и насколько рискованно подключить все 5 PVE-нод к одному блоку ISCSI-хранилища, а затем создать один и тот же пул ZFS на каждой из них?
13.06.2025 11:41:00, jiantao.]]> http://proxmox.su/forum/messages/forum63/message319165/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319165/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 11:41:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! На странице вики, посвященной переходу на Proxmox, есть некоторые соображения по поводу общего хранилища. Там также перечислены плюсы и минусы каждого варианта. Возможно, это поможет тебе начать. На странице Multipath тоже есть довольно подробная инструкция по настройке.
13.06.2025 11:11:00, mkoeppl.]]> http://proxmox.su/forum/messages/forum63/message319164/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319164/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 11:11:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Наверное, получится, если сильно постараться. Но это не будет эффективно. Blockbridge: Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
14.06.2025 17:39:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message319163/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319163/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Sat, 14 Jun 2025 17:39:00 +0300 Proxmox Виртуальная Среда Помощь нужна: Нужен общий iSCSI-хранилище для кластера PVE (доступ с нескольких нод). Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем! Я собираю кластер Proxmox VE и сейчас ищу надёжное решение для **общего хранилища**, к которому все узлы кластера могут обращаться одновременно. Рассматриваю использование **iSCSI в качестве хранилища**, и хотел бы узнать:

1. Есть ли какие-то рекомендуемые и **стабильные настройки** для использования iSCSI в качестве **общего хранилища для ВМ** по всему кластеру PVE?
2. Как правильно настроить **доступ из нескольких узлов** к iSCSI-таргету, не рискуя повреждением LVM или файловой системы?
3. Стоит ли использовать **LVM поверх iSCSI**, **LVM-thin** или **ZFS поверх iSCSI**? Какие плюсы и минусы?
4. Есть ли предпочтительное open-source iSCSI-таргет (например, **TGT**, **LIO**, **FreeNAS**, **TrueNAS**, **Windows Server**), который хорошо работает с PVE?
5. Может ли Proxmox нативно управлять iSCSI-мультипутями и обеспечивать поддержку **HA-переключения**?

Моя цель — позволить всем узлам PVE:

- Обращаться и использовать один и тот же том хранилища,
- Мигрировать ВМ между узлами с общими дисками,
- Избегать проблем с блокировкой файлов или повреждения данных.

Если у кого-то есть опыт работы с рабочей конфигурацией (например, мультипуть, LVM с общим VG или ZFS поверх iSCSI), буду очень благодарен за совет или пример конфигурации.

Заранее спасибо за любую помощь!

С уважением,
13.06.2025 09:56:00, jiantao.]]> http://proxmox.su/forum/messages/forum63/message319162/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. http://proxmox.su/forum/messages/forum63/message319162/76984-pomoshch-nuzhna_-nuzhen-obshchiy-iscsi_khranilishche-dlya-klastera-pve-_dostup-s-neskolkikh-nod_. Fri, 13 Jun 2025 09:56:00 +0300 Proxmox Виртуальная Среда