Я запустил экспериментальный кластер Proxmox 6 VE - Ceph с тремя узлами (blade01, blade02, blade10). У меня возникла проблема с версиями Ceph, которая была исправлена. Однако теперь я вижу проблему с Мониторами на Blade02. Прикреплён снимок экрана GUI. Я вижу "?" и при наведении курсора появляется "Address Unknown / Stopped". Если я перехожу на экран Мониторов, я вижу только один монитор на Blade02. Действия "Запустить", "Остановить" и "Перезапустить" показывают всплывающее сообщение "Готово". Почему такая разница? Я также не могу создать новый Монитор на Blade02. Буду признателен за помощь. Спасибо, Вивек.

Системный журнал для Blade02 показывает следующее:
Код:
Oct 23 09:44:41 systemd[1]: Запущен демон мониторинга кластера Ceph.
Oct 23 09:44:41 ceph-mon[39041]: 2019-10-23 09:44:41.764 7f36adf6a440 -1 rocksdb: Ошибка ввода-вывода: ошибка при открытии файла для блокировки: /var/lib/ceph/mon/ceph-dell0104blade02/store.db/LOCK: Доступ запрещён.
Oct 23 09:44:41 ceph-mon[39041]: 2019-10-23 09:44:41.764 7f36adf6a440 -1 ошибка открытия каталога данных монитора по адресу '/var/lib/ceph/mon/ceph-dell0104blade02': (22) Недопустимый аргумент.
Oct 23 09:44:41 systemd[1]: ceph-mon@dell0104blade02.service: Основной процесс завершился, код=exit, статус=1/НЕУДАЧА.
Oct 23 09:44:41 systemd[1]: ceph-mon@dell0104blade02.service: Завершено с результатом 'exit-code'.
Oct 23 09:44:45 systemd[1]: Остановлен демон мониторинга кластера Ceph.
Oct 23 09:44:45 systemd[1]: Запущен демон мониторинга кластера Ceph.

Oct 23 09:44:45 ceph-mon[39131]: 2019-10-23 09:44:45.244 7fd5fd4ad440 -1 rocksdb: Ошибка ввода-вывода: ошибка при открытии файла для блокировки: /var/lib/ceph/mon/ceph-dell0104blade02/store.db/LOCK: Доступ запрещён.
Oct 23 09:44:45 dell0104blade10 ceph-mon[39131]: 2019-10-23 09:44:45.244 7fd5fd4ad440 -1 ошибка открытия каталога данных монитора по адресу '/var/lib/ceph/mon/ceph-dell0104blade02': (22) Недопустимый аргумент.
Oct 23 09:44:45 systemd[1]: ceph-mon@dell0104blade02.service: Основной процесс завершился, код=exit, статус=1/НЕУДАЧА.
Oct 23 09:44:45 systemd[1]: ceph-mon@dell0104blade02.service: Завершено с результатом 'exit-code'.
Oct 23 09:44:55 systemd[1]: ceph-mon@dell0104blade02.service: Время ожидания перезапуска Service RestartSec=10s истекло, запланировано перезапуск.
Oct 23 09:44:55 systemd[1]: ceph-mon@dell0104blade02.service: Запланирована работа по перезапуску, счётчик перезапусков составляет 1.
Oct 23 09:44:55 systemd[1]: Остановлен демон мониторинга кластера Ceph.
Oct 23 09:44:55 systemd[1]: Запущен демон мониторинга кластера Ceph.

Если я перехожу в каталог /var/lib/ceph/mon на Blade02, он на самом деле пуст. Каталог монитора принадлежит пользователю/группе ceph/ceph (права rwx r-x ---). Команда ceph -s показывает только ДВА монитора на Blade01 и Blade10. Код:
root@dell0104blade02:~# ceph -s
 кластер:
   id: 09fc106c-d4cf-4edc-867f-db170301f857
   health: HEALTH_OK

 сервисы:
   mon: 2 демона, кворум dell0104blade01,dell0104blade10 (возраст 2 недели)
   mgr: dell0104blade01(активен, с 2 недель), резервные: dell0104blade10, dell0104blade02
   osd: 3 osd: 3 работают (с 2 недель), 3 в (с 2 недель)

 данные:
Почему такая разница?
Я также не могу создать новый Монитор на Blade02.
   пулы: 1 пул, 128 pg
   объекты: 13.33k объектов, 51 GiB
   использование: 121 GiB из 995 GiB / 1.1 TiB доступно
   pg: 128 active+clean

 io:
   клиент: 1023 B/s запись, 0 операций/с чтение, 0 операций/с запись. Глобальная конфигурация Ceph в GUI также показывает двух монов.
Код:
[global]
    auth_client_required = cephx
    auth_cluster_required = cephx
    auth_service_required = cephx
    cluster_network = 192.168.15.31/24
    fsid = 09fc106c-d4cf-4edc-867f-db170301f857
    mon_allow_pool_delete = true
    mon_host = 192.168.15.31 192.168.15.204
    osd_pool_default_min_size = 2
    osd_pool_default_size = 3
    public_network = 192.168.15.31/24

[client]
    keyring = /etc/pve/priv/$cluster.$name.keyring