http://proxmox.su Новое в теме Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 20 Apr 2026 04:32:32 +0300 Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я бы ожидал, что корневая директория CephFS пула будет / — где она смонтирована на хосте PVE — не имеет значения (ее можно и не монтировать вообще). Однако, если вы следовали некоторым из инструкций, на которые вы ссылались, то сгенерировали keyring и скопировали его на клиент — этот keyring указывает, к каким пулам ваш пользователь имеет доступ. Раз вы не передаете всю информацию, вспомогательная утилита ищет ее, и эта утилита, скорее всего, натыкается на первый пул и использует эту информацию. Там указаны оба пула, или вы используете отдельные учетные данные для каждого пула? И ваша гостевая CephFS актуальна? Потому что несколько CephFS пулов в одном кластере — это не было возможным до reef(?), так что, возможно, ваш CephFS клиент просто не «понимает» синтаксис указания пула таким образом.
16.03.2025 22:08:00, guruevi.]]> http://proxmox.su/forum/messages/forum63/message309578/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309578/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 22:08:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот шаги, которые я выполнил для настройки Client и Nodes. Я убедился, что монтирование активно и является пулом ISO, создав файл и проверив его на консоли proxmox nodes. Мой вопрос в том, каким должно быть местоположение монтирования для пула? В команде, которую я использовал, это было "=/", но что бы вы ожидали? Я никогда не передавал share с Proxmox.

Код:
mount -t ceph admin@.cephfs=/mnt/pve/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/pve/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/ /mnt/cephfs
16.03.2025 18:36:00, scuppasteve.]]> http://proxmox.su/forum/messages/forum63/message309577/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309577/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 18:36:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
/etc/ceph/ceph.conf
Код: [global]
       auth_client_required = cephx
       auth_cluster_required = cephx
       auth_service_required = cephx
       cluster_network = 192.168.251.111/24
       fsid = 13aba2f1-7385-4c74-bae5-f9e00a523604
       mon_allow_pool_delete = true
       mon_host = 192.168.250.111 192.168.250.121 192.168.250.131
       ms_bind_ipv4 = true
       ms_bind_ipv6 = false
       osd_pool_default_min_size = 2
       osd_pool_default_size = 3
       public_network = 192.168.250.111/24

[client]
       keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
       keyring = /etc/pve/ceph/$cluster.$name.keyring

[mds]
       keyring = /var/lib/ceph/mds/ceph-$id/keyring

[mds.optiswarm01]
       host = optiswarm01
       mds_standby_for_name = pve

[mds.optiswarm03]
       host = optiswarm03
       mds_standby_for_name = pve

[mds.optiswarm05]
       host = optiswarm05
       mds_standby_for_name = pve

[mon.optiswarm01]
       public_addr = 192.168.250.111

[mon.optiswarm02]
       public_addr = 192.168.250.121

[mon.optiswarm03]
       public_addr = 192.168.250.131 как вы могли видеть в моем ответе другому пользователю, это отдельные независимые пулы. Я понимаю ваш совет, это моя демо-установка, поэтому я могу записать весь рабочий процесс и сохранить его на случай, если я что-то сломаю в будущем и не смогу вспомнить, как это исправить. В будущем я буду использовать обычного пользователя.
16.03.2025 17:28:00, scuppasteve.]]> http://proxmox.su/forum/messages/forum63/message309576/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309576/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 17:28:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
root@optiswarm01:/# ceph fs status

ISOs - 5 клиентов
====
RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS
0 active optiswarm03 Reqs: 0 /s 24 21 16 19

POOL TYPE USED AVAIL
ISOs_metadata metadata 1835k 4792G
 ISOs_data data 20.3G 4792G
cephfs - 4 клиента
======
RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS
0 active optiswarm01 Reqs: 0 /s 17 20 18 22

POOL TYPE USED AVAIL
cephfs_metadata metadata 181k 4792G
 cephfs_data data 12.0k 4792G
STANDBY MDS
optiswarm05
MDS version: ceph version 18.2.4 (2064df84afc61c7e63928121bfdd74c59453c893) reef (stable) Судя по руководству Mounting CephFS, я указал имя файловой системы в команде. Это то, что показывает "mount -t ceph admin@. cephfs=/ /mnt/cephfs", в ней нет fsid, потому что этим занимается ceph.helper.
16.03.2025 17:23:00, scuppasteve.]]> http://proxmox.su/forum/messages/forum63/message309575/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309575/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 17:23:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это два отдельных тома CephFS? Что показывает команда "ceph fs status"? Если да, то тебе нужно указать имя файловой системы с опцией fs= в команде монтирования.
16.03.2025 16:40:00, gurubert.]]> http://proxmox.su/forum/messages/forum63/message309574/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309574/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 16:40:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как у тебя устроена конфигурация CephFS? Кажется, ты просто поделил не тот пул или предоставил этому пользователю доступ к неправильному пулу. Или, возможно, ISOs – это просто подпапка в cephfs (что является именем пула по умолчанию, когда создаешь первый). Не стоит использовать админ-пользователя для клиентов тоже. Я бы посоветовал создать keyring для монтирования или конкретного клиента.
16.03.2025 15:17:00, guruevi.]]> http://proxmox.su/forum/messages/forum63/message309573/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309573/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 15:17:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если ты используешь команду mount вручную, что показывает “mount” потом? Ты уверен, что не смотришь на предыдущий монтирование? Используешь ли ты какие-нибудь утилиты, конфигурационные файлы или keyring, есть ли файлы, которые определяют другой пул? Без знания деталей и текущего состояния очень сложно что-либо диагностировать. Ceph.conf практически не имеет значения для CephFS mount. CephFS не может случайно смонтировать другой пул, отличный от того, который ты указал; где-то информация передается твоей команде mount, вопрос в том, где именно. Твой сторонний клиент может быть настроен как угодно, какие инструкции ты использовал? Можешь ли ты сравнить состояние CephFS монтирований на PVE с CephFS монтированием на твоем стороннем клиенте (список файлов и т.д.) и убедиться, что после монтирования состояние выглядит одинаковым?
16.03.2025 18:01:00, guruevi.]]> http://proxmox.su/forum/messages/forum63/message309572/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309572/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 18:01:00 +0300 Proxmox Виртуальная Среда Кластер Proxmox с общей Ceph-партицией в виртуальных машинах. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня две ceph pool в дата-центре смонтированы вот так: ISOs = /mnt/pve/ISOs cephfs = /mnt/pve/cephfs. Наконец-то смог смонтировать ceph partition в VM через команду: `mount -t ceph admin@.cephfs=/ /mnt/cephfs`. Когда я выполняю эту команду, монтируется директория ISOs, а мне нужна cephfs pool. Есть какие-нибудь идеи, куда двигаться дальше или почему так получилось, что монтируется по умолчанию? То же самое происходит при монтировании через fstab. Код: `192.168.250.111:6789,192.168.250.121:6789,192.168.250.131:6789:/ /mnt/cephfs ceph name=admin,secret=xxx,noatime,_netdev 0 2 Не знаю, что еще можно сюда добавить, чтобы решить проблему.
16.03.2025 06:57:00, scuppasteve.]]> http://proxmox.su/forum/messages/forum63/message309571/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. http://proxmox.su/forum/messages/forum63/message309571/75611-klaster-proxmox-s-obshchey-ceph_partitsiey-v-virtualnykh-mashinakh. Sun, 16 Mar 2025 06:57:00 +0300 Proxmox Виртуальная Среда