http://proxmox.su Новое в теме OSD ghost форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 10 Jun 2026 18:05:46 +0300 OSD ghost Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня та же проблема, это какое-то безумие!
11.01.2025 19:23:00, sofmeright.]]> http://proxmox.su/forum/messages/forum63/message308849/75500-osd-ghost http://proxmox.su/forum/messages/forum63/message308849/75500-osd-ghost Sat, 11 Jan 2025 19:23:00 +0300 Proxmox Виртуальная Среда OSD ghost Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ceph не умеет работать в режиме dual stack. Вам нужно либо использовать IPv4, либо IPv6 на обеих сетях.
13.03.2025 06:26:00, gurubert.]]> http://proxmox.su/forum/messages/forum63/message308848/75500-osd-ghost http://proxmox.su/forum/messages/forum63/message308848/75500-osd-ghost Thu, 13 Mar 2025 06:26:00 +0300 Proxmox Виртуальная Среда OSD ghost Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я тут нашел это в логах, когда запускал [ls /var/log/ceph/ceph-osd.log]. Похоже, Ceph не очень-то рад, что я разделил сеть кластера на IPv6, а публичный доступ - на IPv4. Нашел это на https://docs.ceph.com/en/reef/rados/troubleshooting/troubleshooting-osd/ , надеюсь, это поможет.

2025-03-11T23:19:59.496-0700 75e39dbea840  0 set uid:gid to 64045:64045 (ceph:ceph)
2025-03-11T23:19:59.496-0700 75e39dbea840  0 ceph version 19.2.0 (3815e3391b18c593539df6fa952c9f45c37ee4d0) squid (stable), process ceph-osd, pid 22244
2025-03-11T23:19:59.496-0700 75e39dbea840  0 pidfile_write: ignore empty --pid-file
2025-03-11T23:19:59.498-0700 75e39dbea840  1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) open path /var/lib/ceph/osd/ceph-0/block
2025-03-11T23:19:59.498-0700 75e39dbea840  0 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block failed: (22) Invalid argument
2025-03-11T23:19:59.498-0700 75e39dbea840  1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) open size 500103643136 (0x7470800000, 466 GiB) block_size 4096 (4 KiB) rotational device, discard not supported
2025-03-11T23:19:59.498-0700 75e39dbea840  1 bluestore(/var/lib/ceph/osd/ceph-0) _set_cache_sizes cache_size 1073741824 meta 0.45 kv 0.45 kv_onode 0.04 data 0.06
2025-03-11T23:19:59.499-0700 75e39dbea840  1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) open path /var/lib/ceph/osd/ceph-0/block.db
2025-03-11T23:19:59.499-0700 75e39dbea840  0 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block.db failed: (22) Invalid argument
2025-03-11T23:19:59.499-0700 75e39dbea840  1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) open size 50012880896 (0xba5000000, 47 GiB) block_size 4096 (4 KiB) non-rotational device, discard supported
2025-03-11T23:19:59.499-0700 75e39dbea840  1 bluefs add_block_device bdev 1 path /var/lib/ceph/osd/ceph-0/block.db size 47 GiB
2025-03-11T23:19:59.500-0700 75e39dbea840  1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) open path /var/lib/ceph/osd/ceph-0/block
2025-03-11T23:19:59.500-0700 75e39dbea840  0 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block failed: (22) Invalid argument
2025-03-11T23:19:59.500-0700 75e39dbea840  1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) open size 500103643136 (0x7470800000, 466 GiB) block_size 4096 (4 KiB) rotational device, discard not supported
2025-03-11T23:19:59.500-0700 75e39dbea840  1 bluefs add_block_device bdev 2 path /var/lib/ceph/osd/ceph-0/block size 466 GiB
2025-03-11T23:19:59.500-0700 75e39dbea840  1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) close
2025-03-11T23:19:59.767-0700 75e39dbea840  1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) close
2025-03-11T23:20:00.012-0700 75e39dbea840  1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) close
2025-03-11T23:20:00.262-0700 75e39dbea840  0 starting osd.0 osd_data /var/lib/ceph/osd/ceph-0 /var/lib/ceph/osd/ceph-0/journal
2025-03-11T23:20:00.262-0700 75e39dbea840 -1 unable to find any IPv6 address in networks '192.168.23.1/24' interfaces ''
2025-03-11T23:20:00.262-0700 75e39dbea840 -1 Failed to pick public address.
12.03.2025 18:11:00, tbomb456.]]> http://proxmox.su/forum/messages/forum63/message308847/75500-osd-ghost http://proxmox.su/forum/messages/forum63/message308847/75500-osd-ghost Wed, 12 Mar 2025 18:11:00 +0300 Proxmox Виртуальная Среда OSD ghost Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня та же проблема, не могу получить OSD вообще. Интересно, это проблема с squid?

Редактирую: только что посмотрел логи:

root@Instalation01:~# systemctl status ceph-osd@1
× ceph-osd@1.service - Ceph object storage daemon osd.1
  Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled)
 Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d
└─ceph-after-pve-cluster.conf
 Active: failed (Result: exit-code) since Tue 2025-03-11 23:13:29 MST; 10s ago
Duration: 827ms
 Process: 19663 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 1 (code=exited, status=0/SUCCESS)
 Process: 19668 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id 1 --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE)
Main PID: 19668 (code=exited, status=1/FAILURE)
CPU: 97ms
Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Scheduled restart job, restart counter is at 3.
Mar 11 23:13:29 Instalation01 systemd[1]: Stopped ceph-osd@1.service - Ceph object storage daemon osd.1.
Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Start request repeated too quickly.
Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Failed with result 'exit-code'.
Mar 11 23:13:29 Instalation01 systemd[1]: Failed to start ceph-osd@1.service - Ceph object storage daemon osd.1.
также прикладываю файл журнала

Редактирую еще раз

root@Instalation01:~# systemctl status ceph-osd@0
● ceph-osd@0.service - Ceph object storage daemon osd.0
  Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled)
 Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d
└─ceph-after-pve-cluster.conf
 Active: activating (auto-restart) (Result: exit-code) since Tue 2025-03-11 23:19:38 MST; 2s ago
Process: 21808 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 0 (code=exited, status=0/SUCCESS)
Process: 21819 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id 0 --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE)
Main PID: 21819 (code=exited, status=1/FAILURE)
CPU: 99ms

root@Instalation01:~# systemctl status ceph-osd@0
● ceph-osd@0.service - Ceph object storage daemon osd.0
  Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled)
 Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d
└─ceph-after-pve-cluster.conf
 Active: active (running) since Tue 2025-03-11 23:19:48 MST; 679ms ago
Process: 22076 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 0 (code=exited, status=0/SUCCESS)
Main PID: 22099 (ceph-osd)
Tasks: 8
Memory: 11.2M
CPU: 97ms
CGroup: /system.slice/system-ceph\x2dosd.slice/ ceph-osd@0.service
└─22099 /usr/bin/ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph
Mar 11 23:19:48 Instalation01 systemd[1]: Starting ceph-osd@0.service - Ceph object storage daemon osd.0...
Mar 11 23:19:48 Instalation01 systemd[1]: Started ceph-osd@0.service - Ceph object storage daemon osd.0.

root@Instalation01:~# systemctl status ceph-osd@0
● ceph-osd@0.service - Ceph object storage daemon osd.0
  Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled)
 Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d
└─ceph-after-pve-cluster.conf
 Active: activating (auto-restart) (Result: exit-code) since Tue 2025-03-11 23:19:49 MST; 5s ago
Process: 22076 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 0 (code=exited, status=0/SUCCESS)
Process: 22099 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id 0 --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE)
Main PID: 22099 (code=exited, status=1/FAILURE)
CPU: 104ms
Только что попробовал это, но не помогло, похоже на ошибку разрешений, почти??
12.03.2025 07:12:00, tbomb456.]]> http://proxmox.su/forum/messages/forum63/message308846/75500-osd-ghost http://proxmox.su/forum/messages/forum63/message308846/75500-osd-ghost Wed, 12 Mar 2025 07:12:00 +0300 Proxmox Виртуальная Среда OSD ghost Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня работает кластер Proxmox из 3 нод на версии 8.3.0. На каждой ноде установлен CEPH 19.2.0. Запущены 3 монитора и менеджера, состояние здоровья OK. На каждой ноде стоит Samsung 990 Pro NVMe, выделенный для CEPH OSD. Как ни попробую, какой порядок не выберу, всегда заканчиваю с OSD-шником-призраком. Кликаю на CEPH, OSD и создаю OSD. Система предлагает неиспользуемый Samsung-диск, и я ничего больше не трогаю, кроме создания. Задача выполняется успешно без ошибок. Но после этого я вижу созданный OSD на этой странице, только на общей странице показывает, что у меня osd.0 как призрак. Что я делаю не так?

P.S. Перед созданием OSD, я стирал диски на каждой ноде командой: `ceph-volume lvm zap /dev/nvme0n1 --destroy`

Приложены скриншоты:
create osd - как я его создаю
log file from successful task
ceph_after_create - конфигурация OSD, по умолчанию пусто, ничего там нет
ghost_osd - на дашборде виден призрак OSD
26.11.2024 11:26:00, JanoStasik.]]> http://proxmox.su/forum/messages/forum63/message308845/75500-osd-ghost http://proxmox.su/forum/messages/forum63/message308845/75500-osd-ghost Tue, 26 Nov 2024 11:26:00 +0300 Proxmox Виртуальная Среда