http://proxmox.su Новое в теме Добавление не-Proxmox хостов в пул Proxmox Ceph В этом посте я покажу, как добавить не-Proxmox хосты к существующему пулу Ceph, управляемому Proxmox. Это может быть полезно для увеличения емкости хранилища или для интеграции с существующей инфраструктуро форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 24 Apr 2026 22:32:21 +0300 Добавление не-Proxmox хостов в пул Proxmox Ceph В этом посте я покажу, как добавить не-Proxmox хосты к существующему пулу Ceph, управляемому Proxmox. Это может быть полезно для увеличения емкости хранилища или для интеграции с существующей инфраструктуро Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я наткнулся на эту старую тему, пытаясь решить очень похожую проблему. Последний пост подсказал мне пойти другим путем. У меня домашняя лаборатория с 2 гипервизорами Proxmox и NAS на базе OpenMediaVault. NAS имеет qdevice, который формирует кворум голосов, а также предоставляет общую файловую систему на базе NFS (вращающиеся диски в mdadm RAID с кэшем SSD). Не проведя тщательного исследования, я купил 3x500G SSD с идеей создать 3-узловой кластер Ceph, но в итоге попал в ситуацию, похожую на ту, что описывал OP. Управляемый Proxmox Ceph не совсем совместим с хостами и настройками Ceph, отличными от Proxmox. Пытаясь избежать демонтажа текущей управляемой Proxmox Ceph, которую я имел, и заменять ее на нативную установку cephadm, предложение создать VM для cephadm, выше, подсказало мне идею. А что, если сделать наоборот и запустить VM Proxmox на NAS (в OpenMediaVault есть плагин KVM)? Основная роль VM Proxmox будет заменять qdevice для кворума HA и предоставлять третье устройство монитора Ceph. Планов размещать VM или CT там нет. Первоначальные тесты с 2-узловым реплицированным пулом Ceph выглядят хорошо. Я могу потерять любой хост и обеспечить правильную работу служб HA. Есть небольшое снижение производительности, когда я отключаю один из хостов Proxmox, но это приемлемо как временная ситуация. Если я найду способ передать 500G SSD в KVM Proxmox VM, я могу попробовать настройку с 3 OSD.
02.04.2025 02:31:00, damjanev.]]> http://proxmox.su/forum/messages/forum63/message304525/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches http://proxmox.su/forum/messages/forum63/message304525/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches Wed, 02 Apr 2025 02:31:00 +0300 Proxmox Виртуальная Среда Добавление не-Proxmox хостов в пул Proxmox Ceph В этом посте я покажу, как добавить не-Proxmox хосты к существующему пулу Ceph, управляемому Proxmox. Это может быть полезно для увеличения емкости хранилища или для интеграции с существующей инфраструктуро Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Прежде всего, я не эксперт по Ceph или Proxmox, но достаточно с обоими поиграл, чтобы чувствовать себя комфортно, делясь своим мнением. В первую очередь, cephadm работает через контейнеры и сам по себе является оркестратором. Cephadm создает контейнеры для всех своих сервисов (мониторы, менеджеры и т.д.). Исходя из этого, установка cephadm использует что-то вроде "живой базы данных" для управления кластером, поэтому файл /etc/ceph/ceph.conf на хосте, в некотором смысле, не имеет значения для работы кластера. Вы можете редактировать файл ceph.conf весь день, и это не изменит живую настройку вашего кластера; я сам так сталкивался. Заметил, что ceph.conf используется для клиентов, поэтому если вы установите ceph-common, вам потребуется этот файл и keyring для доступа к контейнеризированному кластеру. Я довольно уверен, что это будет работать, но если окажусь неправ, заранее извиняюсь. Proxmox использует стандартные файлы и сервисы и содержит все это в живой системе (самой системе), поэтому он полагается на файлы, расположенные по всей системе. Извините, если вы все это знали, но это просто предыстория к тому, что я собираюсь сказать. Не рекомендуется устанавливать cephadm на хост Proxmox, потому что они говорят, что не стоит/не лучшая практика устанавливать docker (podman сюда тоже попадает) на физическом хосте с точки зрения безопасности, так что если вы с этим согласны (вы же работаете в лаборатории, наверное), то это не вариант. Даже если вы решите использовать это, это не будет интегрироваться с UI управления Ceph в Proxmox, но вы можете использовать встроенную панель управления Ceph, которая довольно неплоха. Я предполагаю, что вы стремитесь к интерфейсу управления в "одном окне", поэтому несколько панелей управления могут быть вам не нужны. Поскольку обе установки Ceph управляются по-разному, они могут просто быть несовместимы. Если у вас есть ресурсы на вашем хосте Proxmox, создайте виртуальную машину для cephadm и передайте ей диски. Другой возможный вариант без проверки - включить Ceph в Proxmox, а затем добавить репозитории Ceph на 2 других сервера и установить ceph вручную. Добавьте 2 других сервера в файл ceph.conf Proxmox и скопируйте конфиг и admin keyring на них. Запустите сервисы на 2 серверах и надейтесь на лучшее. Ручная развертка Ceph. Моя личная настройка на данный момент — 3 хоста Proxmox с podman и cephadm, установленными на всех 3. Я хотел сохранить каждое программное обеспечение отдельным, так как я также использую Ceph-кластер за пределами Proxmox, а панель управления Ceph предоставляет больше контроля/информации о кластере в отношении NFS и шлюзов. Это не лучшая практика/не рекомендуется, но для меня это работает при ограниченной доступности оборудования. Надеюсь, это было полезно.
31.07.2021 20:14:00, JinxCappa.]]> http://proxmox.su/forum/messages/forum63/message304524/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches http://proxmox.su/forum/messages/forum63/message304524/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches Sat, 31 Jul 2021 20:14:00 +0300 Proxmox Виртуальная Среда Добавление не-Proxmox хостов в пул Proxmox Ceph В этом посте я покажу, как добавить не-Proxmox хосты к существующему пулу Ceph, управляемому Proxmox. Это может быть полезно для увеличения емкости хранилища или для интеграции с существующей инфраструктуро Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, понимаю, что это не совсем относится к Proxmox, а скорее к Ceph, но я попробую. У меня дома есть 1 узел Proxmox (7.latest), на котором настроен Proxmox Ceph (Pacific) с 2 OSD. Есть еще 2 не-Proxmox хоста, на которых я хочу установить Ceph (через ?cephadm?) и добавить их к Proxmox Ceph. Сейчас тестирую это на VM, чтобы поиграться. Установка cephadm на Proxmox хосте там достаточно сломала Ceph (видел тут пост про символические ссылки, которые я перезаписал). Пытаться вручную добавить узел с помощью ceph.conf пока что не получается. Кажется, я что-то очень важное упускаю. Вот почему я подумал, что cephadm - для самых простых. У кого-нибудь получалось это делать раньше и есть какие-нибудь советы, с чего начать? Есть ли какие-нибудь скрипты Proxmox, которые можно перенести для управления не-Proxmox Ceph узлами? Или мне стоит удалить Proxmox Ceph и просто запускать cephadm на всех хостах? https://forum.proxmox.com/threads/r...ust go to a nodes,ceph packages for each node. Если кому интересно, зачем мне это, кроме "потому что могу (или нет)": 1) Один хост с Proxmox, 2x 1TB HDD запасные, чтобы запускать Ceph для будущего общего пула между гипервизорами (cephfs); 2) Другой хост работает под Debian bullseye с OpenMediaVault и Opennebula-node, 2x 1TB HDD запасные, чтобы запускать Ceph; 3) Другой хост работает под XCP-NG (Centos) с еще 2x 1TB HDD запасными для Ceph. У меня в голове, возможно, даже с контейнером на моем NAS и несколькими терабайтами оттуда как vdisks - смесь дополнительной резервной копии + общий пул, а не чтобы каждый гипервизор работал изолированно. Еще раз, чисто лабораторная среда, не для каких-либо производственных целей. Буду благодарен за любые идеи. Спасибо, Andreas.
29.07.2021 09:32:00, Madhatter.]]> http://proxmox.su/forum/messages/forum63/message304523/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches http://proxmox.su/forum/messages/forum63/message304523/74909-dobavlenie-ne_proxmox-khostov-v-pul-proxmox-ceph-v-etom-poste-ya-pokazhu_-kak-dobavit-ne_proxmox-khosty-k-sushchestvuyushchemu-pulu-ceph_-upravlyaemomu-proxmox.-eto-mozhet-byt-polezno-dlya-uvelicheniya-emkosti-khranilishcha-ili-dlya-integratsii-s-sushches Thu, 29 Jul 2021 09:32:00 +0300 Proxmox Виртуальная Среда