Аспро: ЛайтШоп [тема: Удаление OSD на сбойном оборудовании оставляет службу OSD.]

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Thu, 20 Mar 2025 09:40:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за точность.
20.03.2025 09:40:00, pemadiot.

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Thu, 20 Mar 2025 09:36:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если вы добавите новый OSD, он всегда получит наименьший доступный номер. Если вы удалили 4, он присвоит его следующему добавляемому OSD, номера OSD не уникальны для диска.
20.03.2025 09:36:00, smueller.

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Tue, 18 Mar 2025 09:51:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, просто чтобы ты знал, мы воссоздали OSD из Proxmox, и замененный диск стал доступен (/dev/sd<новая буква>), и каким-то образом он снова связался с OSD.4. Мне не совсем понятно, как это произошло, но получилось, и теперь всё в порядке.
18.03.2025 09:51:00, pemadiot.

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Tue, 18 Mar 2025 09:32:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Переместил тему.
18.03.2025 09:32:00, dcsapak.

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Sun, 16 Mar 2025 20:26:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не тот форум...
16.03.2025 20:26:00, itNGO.

Удаление OSD на сбойном оборудовании оставляет службу OSD.

Fri, 14 Mar 2025 18:58:00 +0300

Удаление OSD на сбойном оборудовании оставляет службу OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем! Вот сложилась ситуация: у нас Ceph кластер поверх Proxmox на оборудовании Dell. Один из дисков DELL, на которых виртуализированные диски, вышел из строя, соответственно, и соответствующий OSD тоже. Это HDD диск, а не NVMe, и "к счастью", Bluestore не был развернут на локальных NVMe дисках. В общем, мы выполнили рекомендации по удалению OSD из Ceph перед заменой физического диска. Для этого мы следовали инструкциям по адресу: pve-docs/chapter-pveceph.html#_replace_osds и статье на RHAT: https://people.redhat.com/bhubbard/nature/default/rados/operations/add-or-rm-osds, но не можем выполнить `ceph-volume lvm zap /dev/sdb`, так как /dev/sdb больше не существует. Кажется, всё шло неплохо, но мы не заметили, что OSD.4, в данном случае, был удален, но связанная с ним сервис остался:

```bash
# ceph osd crush ls proxmoxNode
osd.6
osd.5
osd.7
osd.16
osd.17
osd.18
osd.19
osd.20
osd.36

# systemctl list-units --type service |grep ceph
ceph-crash.service loaded active running Ceph crash dump collector
ceph-osd@16.service loaded active running Ceph object storage daemon osd.16
ceph-osd@17.service loaded active running Ceph object storage daemon osd.17
ceph-osd@18.service loaded active running Ceph object storage daemon osd.18
ceph-osd@19.service loaded active running Ceph object storage daemon osd.19
ceph-osd@20.service loaded active running Ceph object storage daemon osd.20
ceph-osd@36.service loaded active running Ceph object storage daemon osd.36
● ceph-osd@4.service loaded failed failed Ceph object storage daemon osd.4
ceph-osd@5.service loaded active running Ceph object storage daemon osd.5
ceph-osd@6.service loaded active running Ceph object storage daemon osd.6
ceph-osd@7.service loaded active running Ceph object storage daemon osd.7
```

Устройство, связанное с этим OSD (ранее /dev/sdb), фактически было удалено из системы, однако у нас есть эта информация, перечисляющая LVM PVs:

```bash
# pvs
Error reading device /dev/ceph-b4dd4437-ca3b-4676-9476-43d479e91b80/osd-block-1d61dd7b-4fff-434f-aad3-1d27273fe45b at 0 length 512.
Error reading device /dev/ceph-b4dd4437-ca3b-4676-9476-43d479e91b80/osd-block-1d61dd7b-4fff-434f-aad3-1d27273fe45b at 0 length 4096.
PV VG Fmt Attr PSize PFree
/dev/nvme0n1 ceph-9ad5af69-2af0-4d77-9297-46cd579b3589 lvm2 a-- <1.46t 424.00m
/dev/nvme1n1 ceph-b2cd2032-4a87-4e83-bd9b-982568385b1e lvm2 a-- <1.46t 424.00m
/dev/sda3 pve lvm2 a-- 1.09t <16.00g
/dev/sdc ceph-8d9d0312-1de4-4617-917e-c1640f68b570 lvm2 a-- 10.69t 0
/dev/sdd ceph-c72b9c09-3dfe-4b41-9c07-23a8a089e897 lvm2 a-- 10.69t 0
/dev/sde ceph-6d001322-fe2f-461f-b068-db9c833571b9 lvm2 a-- 10.69t 0
/dev/sdf ceph-4fc85931-8fa4-496a-9312-c9da6e38b910 lvm2 a-- 10.69t 0
/dev/sdg ceph-0613871a-a88f-45d7-9544-05334867aacf lvm2 a-- 10.69t 0
/dev/sdh ceph-cb93a5d9-93f8-4596-82ca-175750cd7a01 lvm2 a-- 10.69t 0
/dev/sdi ceph-9d0b7e0e-db70-4ba0-aa23-173847631d7c lvm2 a-- 10.69t 0
/dev/sdj ceph-a2eb34ea-fd05-46da-b693-29c64a790748 lvm2 a-- 10.69t 0
/dev/sdk ceph-521bbd29-951a-4aa5-95f1-6a679c5ebcb0 lvm2 a-- 10.69t 0
/dev/sdl SQL_RAID lvm2 a-- 21.38t 508.00m
....

Теперь вопрос в следующем: прежде чем "принудительно" удалить systemd юнит `ceph-osd@4.service`, не поделился ли кто-нибудь опытом, похожим на этот, и какие действия были предприняты для воссоздания отсутствующего OSD? Учитывая, что новый диск в системе присутствует, но не под `/dev/sdb`, а под `/dev/sdm`, безопасно ли будет создать новый OSD том OSD.4, используя физическое устройство `/dev/sdm`? Буду рад вашим мыслям!
14.03.2025 18:58:00, pemadiot.