+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

CEPH не помечает OSD как неработающий после отключения питания узла., Proxmox Виртуальная Среда

DANILO MONTAGNA

Guest

24.10.2019 14:46:00

Привет, я провожу тестирование в кластере Ceph перед тем, как запустить ВМ в этой среде, но столкнулся с странной проблемой. Когда я перезагружаю узел (чистое завершение работы ОС), в Ceph Manager всё работает отлично, узел OSD становится DOWN, и всё идет по плану. Но если мы симулируем отключение питания узла, выдернув кабели питания из сервера (грязное завершение работы), то CEPH Manager продолжает показывать OSD узла как UP/IN, журналы узла-выжившего все еще показывают: "pgmap v19142: 1024 pgs: 1024 active+clean". В графическом интерфейсе Proxmox OSD узла, который вышел из строя, все равно отображаются как UP/IN. Вот еще несколько логов, которые я собрал с узла-выжившего: /var/log/ceph/ceph.log: кластер [WRN] Обновление проверки состояния: 129 медленных операций, самая старая заблокирована на 537 сек, демоны [mon,pve01-bnu,mon,pve03-bnu] имеют медленные операции. (SLOW_OPS) /var/log/syslog: 09:40:41.025 7f9781bdd700 -1 osd.6 207 heartbeat_check: нет ответа от 189.XXX.XXX.XXX:6830 osd.19 с 2019-10-24 09:30:17.278044 до 2019-10-24 09:30:17.277976 (самый старый срок 2019-10-24 09:30:42.577666) /var/log/ceph/ceph-mgr.node02.log: log_channel(cluster) log [DBG]: pgmap v19222: 1024 pgs: 1024 active+clean; 5.2 GiB данных, 11 GiB использовано, 18 TiB / 18 TiB доступно. В этой ситуации я больше не могу получить доступ к ХРАНИЛИЩУ с узла-выжившего... и ВМ становятся нестабильными (ошибки чтения/записи). Я могу только вернуть среду в стабильное состояние, если вручную отмечу OSD узла, который вышел из строя, как DOWN, используя команду: ceph osd down osd.X.

thheo Guest	#2 0 29.12.2021 13:21:00 Ты разобрался с этим? Я сталкиваюсь с тем же самым.

Spewk Guest	#3 0 11.10.2023 10:16:00 Привет, у меня такая же ситуация, и я не могу найти подходящую конфигурацию для Ceph. Ты справился с этим?

Maximiliano

Guest

11.10.2023 10:37:00

Привет, какую версию Proxmox VE ты используешь? Каково содержимое файла `/etc/pve/ceph.conf`? После отключения узла: - Каков вывод команды `ceph status`? - Есть ли что-то интересное в journalctl или журналах ceph (/var/logs/ceph)? - Кластер работает нормально? Например, каков статус `pvecm status`? В общем, изменения не должны отражаться в веб-интерфейсе дольше нескольких секунд при настройках по умолчанию.

Spewk

Guest

11.10.2023 10:45:00

Привет, Максимилиано, я использую последнюю 8 версию, но эта проблема была и на 7. Я обновлю тебя сегодня вечером с конфигурацией и статусом, но это стандартная настройка, примененная конфигурацией proxmox (я внес некоторые изменения и вернул обратно). Это типа "дальше -> дальше -> готово" конфигурация, а потом уже мучения с правильной строкой ceph.conf, чтобы заставить это работать, не больше и не меньше. Позже обновлю тебя со всеми запрашиваемыми конфигурациями.

Maximiliano Guest	#6 0 11.10.2023 11:00:00 Пожалуйста, поделись конфигурацией ceph, не совсем понятно, что ты имеешь в виду под "борьбой за правильный ceph.conf".

Spewk Guest	#7 0 11.10.2023 11:05:00 Да, сделаю это сегодня вечером, сейчас не могу подключиться к этой среде.

Spewk Guest	#8 0 11.10.2023 20:45:00 Вот он: Код: root@proxmox01:~# cat /etc/ceph/ceph.conf [global] auth_client_required = cephx auth_cluster_required = cephx auth_service_required = cephx cluster_network = 192.168.178.8/24 fsid = 5c6f56d5-b58b-4406-a2c0-d70266fab939 mon_allow_pool_delete = true mon_host = 192.168.178.8 192.168.178.10 192.168.178.9 ms_bind_ipv4 = true ms_bind_ipv6 = false osd_pool_default_min_size = 1 osd_pool_default_size = 2 public_network = 192.168.178.8/24 [client] keyring = /etc/pve/priv/$cluster.$name.keyring [mon.proxmox01] public_addr = 192.168.178.8 [mon.proxmox02] public_addr = 192.168.178.9 [mon.proxmox03] public_addr = 192.168.178.10

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры