+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Я вообще в замешательстве, как подключить promox cephFS на клиентской машине - SOS?!, Proxmox Виртуальная Среда

scyto

Guest

18.04.2025 20:49:00

Я очень запутался, как это заставить работать. Я прочитал слишком много разных инструкций в интернете, вот что я сделал, я знаю, что где-то накосячил…

1. Установил ceph-common на клиенте.
2. Скопировал admin keyring с /etc/ceph на хосте pve в /etc/ceph на клиенте.
3. Скопировал ceph.conf с /etc/pve/ceph на хосте pve в /etc/ceph на клиенте.
4. Создал новый клиентский keyring на pve командой root@pve1:/etc/pve/ceph# ceph auth get-or-create client.docker01 mon 'allow r' osd 'allow rwx pool=docker' -o /etc/pve/ceph/ceph.client.docker01.keyring.
5. Скопировал это на клиент в /etc/ceph.
6. На клиенте выполнил sudo ceph -s (это должно проверять связь и конфигурацию). sudo ceph -s просто виснет (на самом деле любая команда кажется зависающей). Я еще не пробовал редактировать fstab, так как, как мне кажется, сначала нужно, чтобы ceph -s заработал.

В чем моя ошибка?

Вот мой ceph.conf, мой Ceph кластер в порядке, и да, клиент может пинговать mon по IPv6 (sudo ceph ping тоже не работает).

```
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = fc00::/64
fsid = 5e55fd50-d135-413d-bffe-9d0fae0ef5fa
mon_allow_pool_delete = true
mon_host = fc00::83 fc00::82 fc00::81
ms_bind_ipv4 = false
ms_bind_ipv6 = true
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = fc00::/64

[mds.pve1]
host = pve1
mds_standby_for_name = pve

[mds.pve1-1]
host = pve1
mds_standby_for_name = pve

[mds.pve2]
host = pve2
mds_standby_for_name = pve

[mds.pve2-1]
host = pve2
mds_standby_for_name = pve

[mds.pve3]
host = pve3
mds_standby_for_name = pve

[mds.pve3-1]
host = pve3
mds_standby_for_name = pve

[mon.pve1-IPv6]
public_addr = fc00::81

[mon.pve2-IPv6]
public_addr = fc00::82

[mon.pve3-IPv6]
public_addr = fc00::83
```

scyto

Guest

18.04.2025 21:05:00

Мои моны подняты, например, на pve1. Код: # sudo ss -tunlp | grep 6789

tcp LISTEN 0 512 [fc00::81]:6789 [::]:* users:(("ceph-mon",pid=1457,fd=29))

root@# sudo ss -tunlp | grep 3300

tcp LISTEN 0 512 [fc00::81]:3300 [::]:* users:(("ceph-mon",pid=1457,fd=28)) Я могу telnet к этим портам, и они подключаются. (Есть ли команды, которые я могу выполнить через telnet, или это просто проверяет, возможно ли подключение к сокету?)

scyto

Guest

18.04.2025 21:13:00

Могу SSH между узлами PVE по IPv6. Не могу SSH с Docker VM на узел PVE по IPv6. Ping работает. Есть маршрут от клиента.

Код: alex@Docker01:~$ traceroute fc00::81
traceroute to fc00::81 (fc00::81), 30 hops max, 80 byte packets
1 xxxx:xxxx:830:1::1 (xxxx:xxxx:830:1::1) 0.363 ms 0.317 ms 0.245 ms
2 pve1 (fc00::81) 0.418 ms 0.332 ms 0.346 ms Интересно, правил файрвола нет. Сеху может потребоваться SSH для работы?

scyto

Guest

18.04.2025 22:35:00

Окей, начинаю думать, что это проблема с сетью – вероятно, с маршрутизацией в ядре Linux на Proxmox-ноде. Но я совсем запутался. ICMP точно работает в моем /etc/sysctl.conf, у меня там это:

```
net.ipv6.conf.all.forwarding=1
net.ipv4.ip_forward=1
```

И таблица маршрутизации на Proxmox-нодах выглядит нормально:

```
root@pve1:/etc/ceph# ip -6 route show
xxxx:xxxx:830:1::/64 dev vmbr0 proto kernel metric 256 pref medium
fc00::81 dev lo proto kernel metric 256 pref medium
fc00::82 nhid 22 via fe80::d8:35ff:fede:a8cd dev en06 proto openfabric metric 20 onlink pref medium
fc00::83 nhid 23 via fe80::9f:84ff:fecc:ec37 dev en05 proto openfabric metric 20 onlink pref medium
fe80::/64 dev enp87s0 proto kernel metric 256 pref medium
fe80::/64 dev vmbr0 proto kernel metric 256 pref medium
fe80::/64 dev en05 proto kernel metric 256 pref medium
fe80::/64 dev en06 proto kernel metric 256 pref medium
default via xxxx:xxxx:830:1::1 dev vmbr0 proto kernel metric 1024 onlink pref medium

note the fc00:: network is a private mesh running over thunderbolt-net so the proxmox node kernel is repsonsible for routing packets that come in on its public IPv6 and routing that to the fc00:: net and that appears to work in general - pings, telnet, ssh connects etc - but no traffic flows on those sockets....

scyto Guest	#5 0 18.04.2025 23:25:00 Окей, чтобы разобраться с этой проблемой, я добавил вторую публичную сеть. Добавил 3 монитора для этой сети. Теперь получаю вот это, что совершенно нелогично, так как с обеих сторон используется метод 2... Код: alex@Docker01:/etc/ceph$ sudo ceph -s 2025-04-18T17:37:16.338-0700 7f5c85bb86c0 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [2,1] ceph auth ls показывает следующий keyring для клиента: Код: client.docker01 key: redacted== caps: [mon] allow r caps: [osd] allow rwx pool=docker Вижу, что кто-то другой упоминал об ошибке в прошлом году, и это не влияло на монтирование, так что я перехожу к попытке монтирования.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры