+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Поддержка CephFS через NFS (NFS-Ganesha), Proxmox Виртуальная Среда

DynFi User

Guest

30.05.2021 11:16:00

Мы настраиваем кластер Promox-VE CEPH большого масштаба с 4 узлами. Большая часть нашей настройки уже завершена, кластер работает. Этот кластер будет использовать L2VPN-EVPN на основе BGP + VxLAN и, возможно, будет многоадресным. Нам нужно обеспечить файловый доступ к некоторым ВМ в кластере, и в первую очередь мы подумали использовать CephFS для этого. Но это кажется "не очень хорошей идеей", так как ВМ придется напрямую обращаться к CephFS, и нам придется раскрыть услуги CEPH, которые должны оставаться скрытыми по очевидным причинам безопасности. У нас много сетей в нашей конфигурации, и раскрытие публичной сети CEPH ВМ не входит в наши планы. После дополнительных поисков я наткнулся на проект NFS-Ganesha, который хорошо описан здесь: https://docs.ceph.com/en/latest/cephfs/fs-nfs-exports/ https://access.redhat.com/documenta...uide_for_the_shared_file_system_service/index. Хотя это кажется интересным способом решения проблемы доступа, продолжая предоставлять файловые ресурсы некоторым ВМ, я не нашел документации по этой настройке в Proxmox-VE. Поэтому мои вопросы следующие: Можно ли безопасно развернуть NFS-Ganesha внутри кластера Proxmox-VE CEPH? Есть ли какие-либо риски, связанные с развертыванием этой технологии внутри кластера? Планируете ли вы добавить поддержку этой технологии в будущем? Какой вы посоветовали бы способ решения нашей задачи с "файловым доступом" к кластеру CEPH? Спасибо за вашу помощь и поддержку. Г.Б.

Syrrys

Guest

26.05.2022 02:59:00

Я только что наткнулся на nfs-ganesha во время недавно проведенного обновления и находить идею предоставить более чистый доступ к cephfs для других клиентов через nfs, вместо установки всей системы ceph или полагания на реализацию ceph-dokan, очень привлекательной. Есть ли какие-либо новости о том, как сделать так, чтобы rook или cephadm хорошо работали с proxmox? Или планы интегрировать nfs-ganesha прямо в proxmox? Правка: Я просто следил за ситуацией и получаю следующее: Bash: $ sudo ceph mgr module enable cephadm Ошибка ENOENT: все демоны mgr не поддерживают модуль 'cephadm', передайте --force для принудительного включения $ sudo ceph mgr module enable rook Ошибка ENOENT: все демоны mgr не поддерживают модуль 'rook', передайте --force для принудительного включения. Я не знаю всех версий подсистем, но в настоящее время я полностью обновлен (я думаю) до Ceph 16.2.7 с PVE-узлами на версии ядра Linux 5.15.35-1-pve #1 SMP PVE 5.15.35-3 (ср, 11 мая 2022 07:57:51 +0200) и pve-manager/7.2-4/ca9d43cc. Правка: (похоже, может быть проблема с тем, как эти оркестраторы используют контейнеризированные сервисы?) Возможно, я совершенно неправильно понимаю оркестраторы и nfs-ganesha... Похоже, мне будет не хуже создать минимальный lxc-шаблон, который сможет предоставлять nfs на основе привязки к каталогу из cephfs хоста и скрыть несколько из них за балансировщиком нагрузки, если мне потребуется больше высокой доступности... в противном случае я предвижу, что ситуация станет немного матрешечной, если я начну нагромождать слишком много слоев контейнеризации в своем хранилище.

fxandrei Guest	#3 0 25.08.2022 08:12:00 Итак, я так понимаю, что безопасного способа использовать nfs ganesha с ceph и proxmox нет, да? Возможность напрямую выводить nfs общие ресурсы из ceph fs через панель управления proxmox была бы просто шикарна.

alexskysilk Guest	#4 0 26.08.2022 19:15:00 Это действительно не сложно. Либо установите это вручную (см. https://docs.ceph.com/en/latest/cephfs/nfs/), либо в виртуальной машине, подключенной к публичному интерфейсу Ceph.

Toranaga

Guest

26.08.2022 22:22:00

Я пробовал это на реальной версии proxmox с прямой установкой. У тебя есть примеры для /etc/ganesha/ceph.conf и /etc/ganesha/ganesha.conf? VFS не работает, есть ошибка lib dlopen, но файл существует. А как происходит доступ к ganesha? Cluster-IP, мультипутевой монтирование?

fxandrei

Guest

27.08.2022 14:15:00

Ну, если у тебя есть виртуальная машина, подключенная к cephfs, и ты затем открываешь её через nfs (с виртуальной машины), то это противоречит всей идее. Ты мог бы использовать openmedia vault или что-то подобное. В идеале, ты мог бы предоставить nfs экспорт непосредственно из cephfs.

alexskysilk Guest	#7 0 27.08.2022 19:42:00 Как так? На самом деле это предпочтительный метод, так как он позволит изолировать файловый сервер от вашего гипервизора; если вы не используете proxmox, то да, конечно, используйте другую дистрибуцию. Помните, в этом случае и узел proxmox, и виртуальная машина выступают в роли гостей для cephfs таким же образом. У меня нет возможности устранять неполадки вашей установки. Что касается примеров — вы должны использовать любые примеры из инструкции, которую вы использовали, но помните, что они должны быть адаптированы под вашу среду. Знаете, как сложно не просто вставить ссылку lmgify? Я бы посоветовал прочитать и понять это: https://github.com/nfs-ganesha/nfs-ganesha/wiki

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры