http://proxmox.su Новое в теме Dell EMC ME5024 – система хранения с Proxmox. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 18 Jun 2026 10:41:05 +0300 Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @Infrawizmj, добро пожаловать на форум. Возможно, эта статья будет тебе полезна: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/ Похоже, ты застрял с интеграцией Multipath, или, скорее, с её отсутствием. Blockbridge: Ультра-низкая задержка, хранилище на базе всех NVMe для Proxmox - https://www.blockbridge.com/proxmox
24.03.2025 12:03:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message315760/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315760/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Mon, 24 Mar 2025 12:03:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, я не совсем правильно выразился. Попробую объяснить по-другому: то, как описывал Вальтар, выглядело мне вполне подходящим для домашней/тестовой лаборатории, но я бы не хотел использовать это как производственную систему для компании. Ну, мы используем кластер в основном для обеспечения высокой доступности. Все хосты спроектированы так, чтобы выдерживать полную нагрузку (на данный момент это 2-узловой кластер, 3 узла будет 2 тогда). Конечно, узлы могут распределять нагрузку, работая вместе, но в случае обновления или сбоя один узел может справиться с этим, что дает время на исправление. Да, они имели в виду PVE. Если это работает хорошо, почему я не могу использовать это напрямую из графического интерфейса? Я не видел файловой системы, которая работала бы из коробки (вроде gfs2). В противном случае, возможно, мне лучше купить iSCSI-хранилище, а не с HBA-подключением.
15.04.2025 08:30:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315759/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315759/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Tue, 15 Apr 2025 08:30:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это интересный способ выразиться. "Профессиональный" подразумевает человека или компанию, которые специализируются на определенном применении или решении (то есть, делают это на жизнь, отсюда и "профессия"). Если это не про вас или кого-то другого, то изначально это не будет профессиональным решением. Откуда у вас возникла эта идея? Там бы не было НИКАКИХ; вся суть обсуждения выше в том, как делать снапшоты, а не поддерживать связность кластера. Кто такие "они"? Я полагаю, это возвращается к первой части моего поста. PVE прекрасно будет работать с SAN, таким как ваш упомянутый ME5024.
14.04.2025 17:46:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message315758/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315758/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Mon, 14 Apr 2025 17:46:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В веселье ты и попляшешь. Удачи!
14.04.2025 09:12:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message315757/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315757/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Mon, 14 Apr 2025 09:12:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это совсем не то профессиональное решение, на которое я рассчитывал. Если хост находится на техническом обслуживании или неисправен, звучит как куча ручной работы, и зачем тогда использовать SAN с подключением HBA, если в итоге приходится использовать NFS? Можно было просто купить хранилище с интерфейсом iSCSI, что, думаю, значительно упростило бы задачу. Мне грустно, что у Proxmox нет ничего вроде VMFS, даже GFS2 кажется довольно неплохой альтернативой. SAN с HBA — такая уж "случайная" штука, что они не поддерживают это "из коробки"? Мы приняли внутренне решение, что с этой аппаратной конфигурацией мы останемся на VMware, а при следующей замене оборудования будем искать другое решение, которое, вероятно, потребует другой аппаратной конструкции (например, хост с внутренним диском и Ceph поверх него).
14.04.2025 09:02:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315756/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315756/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Mon, 14 Apr 2025 09:02:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если ты хочешь так заморочиться, давай, делай что хочешь; в любом случае, тебе тогда NFS не понадобится. В любом случае, ни один из этих вариантов не подходит для реального использования. Если хочешь использовать это в своей домашней лаборатории, я тебя не остановлю.
11.04.2025 18:11:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message315755/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315755/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 18:11:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хаха, ocfs и gfs тоже файловые системы для хранения файлов. Кстати, каждый диск – это блочное хранилище, и всё зависит от того, как ты его используешь…
11.04.2025 17:57:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message315754/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315754/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 17:57:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
ME5024 – это устройство блочного хранилища. Похоже, требования к дизайну в PVE отдают предпочтение интеграции с Ceph, а не оптимизации для общего SAN. Это не значит, что SAN использовать нельзя, просто стоит учитывать, какие компромиссы вы готовы/способны выдержать для использования в продакшене, а именно:

1. Если вы можете обойтись без снапшотов, вы можете использовать свой SAN для пулов LVM-think. У вас всё равно останется преимущество тонкого выделения, поскольку этим занимается сам SAN.
2. Если снапшоты необходимы, вы можете напрямую подключить отдельные LUN к своим гостевым системам. Вам придется управлять снапшотами вне PVE и отдельно обрабатывать приостановку работы гостевой системы (это можно скриптовать/автоматизировать, но это будет зависеть от вас). Если у вас есть ресурсы и бюджет на разработку, вы можете создать плагин хранилища для PVE, который обеспечит интеграцию – и, пожалуйста, опубликуйте его обратно в PVE, чтобы другие могли воспользоваться; ME5024 использует контроллеры dothill's, которые используются во множестве коммерческих продуктов.
3. Если вы готовы потратить деньги, вы можете обратиться к Blockbridge, чтобы они предоставили необходимую "связку" для полной функциональности.
11.04.2025 17:51:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message315753/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315753/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 17:51:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Совет: Приобретите бывшее в употреблении оборудование 100Gbit OPA (коммутатор, карты и соответствующие кабели) между вашими тремя Dell для вашей службы NFS и миграций vm/lxc.
11.04.2025 17:36:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message315752/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315752/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 17:36:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Почему нельзя? Очень мало дисков для системы, которая поддерживает далеко более 300... Сделай 1x raid6 с твоими 6 дисками или 1x raid10. Создай один том и подключи его ко всем 6 портам к 3 серверам, настроить ту же мультипуть на всех 3 серверах, mkfs.xfs (/ext4) на томе на одном сервере (например, pve1) и смонтируй его как /me5, имея только директорию /me5 на всех 3 серверах, экспортируй /me5 с определением fsid на все 3 сервера. Определи "летающий" статический IP в той же подсети, что и 3 сервера, в твоем DNS (или 3 раза локально в /etc/hosts) и установи его как второй IP на твоем, например, pve1 (например, если твои 3 сервера имеют 192.168.1.31+32+33). Определи в хранилище датацентра /me5 как общий NFS. Выполняя регулярно обновления PVE на всех 3 серверах с настройками PVE vm/lxc ha и режимом обслуживания узла, не нужно перемещать том между ними, потому что NFS-клиенты ждут перезагрузки NFS-сервера и всё (vm/lxc) идет нормально после перезагрузки, монтирования, повторного экспорта и получения IP. Если pve1 имеет проблемы с оборудованием, выключи его, смонтируй том на, например, pve2, повторно экспортируй и установи "летающий" IP на pve2 тоже, ручной failover выполнен. Тебе просто нужно быть в курсе, чтобы монтировать файловую систему тома только на одном хосте в любой момент времени, поэтому никогда не определяй в fstab без "nofail,noauto,...", как положено, чтобы монтировать её вручную или, например, как pacemaker и т.д., второе — делай то же самое с "летающим" IP, который должен быть определен только на хосте с файловой системой.
11.04.2025 16:58:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message315751/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315751/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 16:58:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не могу использовать NFS, так как есть только разъемы HBA SAS. RJ45 используется только для управления. Диски - 6x 1.92 TB SSD.
11.04.2025 16:05:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315750/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315750/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 16:05:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я бы выбрал NFS. Сколько и какие диски внутри ME5?
11.04.2025 15:03:00, waltar.]]> http://proxmox.su/forum/messages/forum63/message315749/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315749/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Fri, 11 Apr 2025 15:03:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Поставлю на это, и думаю, что ситуация будет только ухудшаться. Это просто уже не "стабильное" решение, что ли.
10.04.2025 16:51:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315748/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315748/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:51:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы слышим это от потенциальных клиентов каждый день. Некоторые вложились в довольно серьезные системы хранения SAN высокого класса. Так что можете вздохнуть с облегчением, зная, что вы не одиноки в этом путешествии. Удачи, Blockbridge! Ультра низкая задержка, система хранения на базе всех NVMe для Proxmox - https://www.blockbridge.com/proxmox
10.04.2025 16:49:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message315747/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315747/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:49:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, вот это с общим хранилищем мне кажется логичным. Пожалуй, придётся начинать заново и правильно настроить GFS, посмотреть, как пойдет. Также свяжусь с Proxmox и пообщаюсь с ними о наших планах. Дело в том, что железо уже закуплено и изначально разрабатывалось для VMware, что не было бы проблемой. Если бы не постоянные вопросы с лицензией/разборки... Теперь нам нужно найти другой способ с этим железом, так как вернуть его мы не можем.
10.04.2025 16:42:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315746/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315746/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:42:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Когда вы закончите настройку GFS, PVE будет знать только о storage pool типа "Directory" в его /etc/pve/storage.cfg. Вы отметили этот storage pool типа "Directory" как SHARED, тем самым сообщив PVE, что он должен ожидать увидеть этот pool на всех узлах кластера, и что это действительно тот же pool на всех них. Live migration будет работать так же, как и на NFS pool. PVE кластер будет передавать владение файлами QEMU между узлами по мере необходимости. В общем, есть два способа гарантировать поддержку со стороны производителя: a) использовать полностью поддерживаемую инфраструктуру и настроить её; b) заключить индивидуальный контракт, в котором будут прописаны ваши отклонения как поддерживаемые. Если вы обращались в Proxmox Server Solutions GmbH, и они сказали, что вы можете развернуть всё так, я не вижу причин сомневаться.

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
10.04.2025 16:23:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message315745/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315745/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:23:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @bbgeek17, спасибо за быстрые ответы. Я просмотрел большую часть настройки GFS, и у меня почти получилось. Главное, как Proxmox это видит? То есть, знает ли кластер об этом общем хранилище, чтобы я мог переносить ВМ на ходу? Если это не будет работать, то кластер не к чему, если я что-то упускаю. У нас ещё куча дополнительных пакетов и конфигураций, не хочется попасть в ситуацию, где мне понадобится больше, чем поддержка сообщества для решения проблемы, а техник скажет, что я создал что-то, что далёко от поддерживаемой среды, и никакой помощи не будет.
10.04.2025 16:16:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315744/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315744/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:16:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет @TobiasW, добро пожаловать на форум! CAF не встроена в PVE. Соответственно, нет официально поддерживаемого PVE-сертифицированного CAF. Выбор у вас ограничен свободно доступными Open Source вариантами: OCFS и GFS. Установку, настройку и поддержку придется решать вам самостоятельно. В интернете много руководств с пошаговыми инструкциями, которые вам помогут. Если вы планируете приобрести подписку на PVE и беспокоитесь о том, как саморазвертывание CAF повлияет на поддержку — вам следует напрямую обратиться в Proxmox и узнать. Все поддерживаемые опции PVE перечислены здесь: https://pve.proxmox.com/wiki/Storage. Варианты, поддерживаемые сторонними вендорами, включая Blockbridge, также доступны, но Proxmox их ни в какой мере не одобряет. Blockbridge: ультра низкая задержка, все на NVMe, совместно используемое хранилище для Proxmox - https://www.blockbridge.com/proxmox
10.04.2025 16:06:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message315743/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315743/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 16:06:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! По сути, у меня та же аппаратура, только два сервера вместо трёх. Я всё настроил с multipath, и оба хоста видят диски. А вот в чём загвоздка: я не могу найти файловую систему, поддерживающую кластеризацию, которая работает в такой конфигурации. Поигрался немного с gfs2, но где-то прочитал, что она не поддерживается Proxmox, так что это не вариант. Про Link blockbridge я видел раньше, но ограничения LVM (снимок и тонкое выделение) меня не устраивают. Какие ещё поддерживаемые варианты у меня есть?
10.04.2025 15:56:00, TobiasW.]]> http://proxmox.su/forum/messages/forum63/message315742/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315742/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Thu, 10 Apr 2025 15:56:00 +0300 Proxmox Виртуальная Среда Dell EMC ME5024 – система хранения с Proxmox. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня есть 3 Dell PowerEdge R660 сервера, подключенные к массиву хранения Dell EMC ME5024 по SAS-кабелям. Я раньше настраивал Promox, но не с несколькими серверами с доступом к Storage Array. Все 3 сервера видят диск, как видно на этом скриншоте. Как мне создать хранилище в Promox с доступом для всех 3 серверов?

{
"lightbox_close": "Close",
"lightbox_next": "Next",
"lightbox_previous": "Previous",
"lightbox_error": "The requested content cannot be loaded. Please try again later.",
"lightbox_start_slideshow": "Start slideshow",
"lightbox_stop_slideshow": "Stop slideshow",
"lightbox_full_screen": "Full screen",
"lightbox_thumbnails": "Thumbnails",
"lightbox_download": "Download",
"lightbox_share": "Share",
"lightbox_zoom": "Zoom",
"lightbox_new_window": "New window",
"lightbox_toggle_sidebar": "Toggle sidebar"
}

Перехожу с Citrix Xen на старом оборудовании на Promox с этой новой конфигурацией.

С уважением,
Майкл Йоргенсен
24.03.2025 09:12:00, Infrawizmj.]]> http://proxmox.su/forum/messages/forum63/message315741/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. http://proxmox.su/forum/messages/forum63/message315741/76455-dell-emc-me5024-_-sistema-khraneniya-s-proxmox. Mon, 24 Mar 2025 09:12:00 +0300 Proxmox Виртуальная Среда