+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Кластер Proxmox с общей Ceph-партицией в виртуальных машинах., Proxmox Виртуальная Среда

scuppasteve

Guest

16.03.2025 06:57:00

У меня две ceph pool в дата-центре смонтированы вот так: ISOs = /mnt/pve/ISOs cephfs = /mnt/pve/cephfs. Наконец-то смог смонтировать ceph partition в VM через команду: `mount -t ceph admin@.cephfs=/ /mnt/cephfs`. Когда я выполняю эту команду, монтируется директория ISOs, а мне нужна cephfs pool. Есть какие-нибудь идеи, куда двигаться дальше или почему так получилось, что монтируется по умолчанию? То же самое происходит при монтировании через fstab. Код: `192.168.250.111:6789,192.168.250.121:6789,192.168.250.131:6789:/ /mnt/cephfs ceph name=admin,secret=xxx,noatime,_netdev 0 2 Не знаю, что еще можно сюда добавить, чтобы решить проблему.

guruevi

Guest

16.03.2025 18:01:00

Если ты используешь команду mount вручную, что показывает “mount” потом? Ты уверен, что не смотришь на предыдущий монтирование? Используешь ли ты какие-нибудь утилиты, конфигурационные файлы или keyring, есть ли файлы, которые определяют другой пул? Без знания деталей и текущего состояния очень сложно что-либо диагностировать. Ceph.conf практически не имеет значения для CephFS mount. CephFS не может случайно смонтировать другой пул, отличный от того, который ты указал; где-то информация передается твоей команде mount, вопрос в том, где именно. Твой сторонний клиент может быть настроен как угодно, какие инструкции ты использовал? Можешь ли ты сравнить состояние CephFS монтирований на PVE с CephFS монтированием на твоем стороннем клиенте (список файлов и т.д.) и убедиться, что после монтирования состояние выглядит одинаковым?

guruevi

Guest

16.03.2025 15:17:00

Как у тебя устроена конфигурация CephFS? Кажется, ты просто поделил не тот пул или предоставил этому пользователю доступ к неправильному пулу. Или, возможно, ISOs – это просто подпапка в cephfs (что является именем пула по умолчанию, когда создаешь первый). Не стоит использовать админ-пользователя для клиентов тоже. Я бы посоветовал создать keyring для монтирования или конкретного клиента.

gurubert Guest	#4 0 16.03.2025 16:40:00 Это два отдельных тома CephFS? Что показывает команда "ceph fs status"? Если да, то тебе нужно указать имя файловой системы с опцией fs= в команде монтирования.

scuppasteve

Guest

16.03.2025 17:23:00

root@optiswarm01:/# ceph fs status

ISOs - 5 клиентов
====
RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS
0 active optiswarm03 Reqs: 0 /s 24 21 16 19

POOL TYPE USED AVAIL
ISOs_metadata metadata 1835k 4792G
ISOs_data data 20.3G 4792G
cephfs - 4 клиента
======
RANK STATE MDS ACTIVITY DNS INOS DIRS CAPS
0 active optiswarm01 Reqs: 0 /s 17 20 18 22

POOL TYPE USED AVAIL
cephfs_metadata metadata 181k 4792G
cephfs_data data 12.0k 4792G
STANDBY MDS
optiswarm05
MDS version: ceph version 18.2.4 (2064df84afc61c7e63928121bfdd74c59453c893) reef (stable) Судя по руководству Mounting CephFS, я указал имя файловой системы в команде. Это то, что показывает "mount -t ceph admin@. cephfs=/ /mnt/cephfs", в ней нет fsid, потому что этим занимается ceph.helper.

scuppasteve

Guest

16.03.2025 17:28:00

/etc/ceph/ceph.conf
Код: [global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = 192.168.251.111/24
fsid = 13aba2f1-7385-4c74-bae5-f9e00a523604
mon_allow_pool_delete = true
mon_host = 192.168.250.111 192.168.250.121 192.168.250.131
ms_bind_ipv4 = true
ms_bind_ipv6 = false
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 192.168.250.111/24

[client]
keyring = /etc/pve/priv/$cluster.$name.keyring

[client.crash]
keyring = /etc/pve/ceph/$cluster.$name.keyring

[mds]
keyring = /var/lib/ceph/mds/ceph-$id/keyring

[mds.optiswarm01]
host = optiswarm01
mds_standby_for_name = pve

[mds.optiswarm03]
host = optiswarm03
mds_standby_for_name = pve

[mds.optiswarm05]
host = optiswarm05
mds_standby_for_name = pve

[mon.optiswarm01]
public_addr = 192.168.250.111

[mon.optiswarm02]
public_addr = 192.168.250.121

[mon.optiswarm03]
public_addr = 192.168.250.131 как вы могли видеть в моем ответе другому пользователю, это отдельные независимые пулы. Я понимаю ваш совет, это моя демо-установка, поэтому я могу записать весь рабочий процесс и сохранить его на случай, если я что-то сломаю в будущем и не смогу вспомнить, как это исправить. В будущем я буду использовать обычного пользователя.

scuppasteve

Guest

16.03.2025 18:36:00

Вот шаги, которые я выполнил для настройки Client и Nodes. Я убедился, что монтирование активно и является пулом ISO, создав файл и проверив его на консоли proxmox nodes. Мой вопрос в том, каким должно быть местоположение монтирования для пула? В команде, которую я использовал, это было "=/", но что бы вы ожидали? Я никогда не передавал share с Proxmox.

Код:
mount -t ceph admin@.cephfs=/mnt/pve/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/pve/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/cephfs/ /mnt/cephfs
mount -t ceph admin@.cephfs=/ /mnt/cephfs

guruevi Guest	#8 0 16.03.2025 22:08:00 Я бы ожидал, что корневая директория CephFS пула будет / — где она смонтирована на хосте PVE — не имеет значения (ее можно и не монтировать вообще). Однако, если вы следовали некоторым из инструкций, на которые вы ссылались, то сгенерировали keyring и скопировали его на клиент — этот keyring указывает, к каким пулам ваш пользователь имеет доступ. Раз вы не передаете всю информацию, вспомогательная утилита ищет ее, и эта утилита, скорее всего, натыкается на первый пул и использует эту информацию. Там указаны оба пула, или вы используете отдельные учетные данные для каждого пула? И ваша гостевая CephFS актуальна? Потому что несколько CephFS пулов в одном кластере — это не было возможным до reef(?), так что, возможно, ваш CephFS клиент просто не «понимает» синтаксис указания пула таким образом.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры