Привет! У меня работает кластер Proxmox из 3 нод на версии 8.3.0. На каждой ноде установлен CEPH 19.2.0. Запущены 3 монитора и менеджера, состояние здоровья OK. На каждой ноде стоит Samsung 990 Pro NVMe, выделенный для CEPH OSD. Как ни попробую, какой порядок не выберу, всегда заканчиваю с OSD-шником-призраком. Кликаю на CEPH, OSD и создаю OSD. Система предлагает неиспользуемый Samsung-диск, и я ничего больше не трогаю, кроме создания. Задача выполняется успешно без ошибок. Но после этого я вижу созданный OSD на этой странице, только на общей странице показывает, что у меня osd.0 как призрак. Что я делаю не так?
P.S. Перед созданием OSD, я стирал диски на каждой ноде командой: `ceph-volume lvm zap /dev/nvme0n1 --destroy`
Приложены скриншоты: create osd - как я его создаю log file from successful task ceph_after_create - конфигурация OSD, по умолчанию пусто, ничего там нет ghost_osd - на дашборде виден призрак OSD
tbomb456
Guest
0
12.03.2025 07:12:00
У меня та же проблема, не могу получить OSD вообще. Интересно, это проблема с squid?
Редактирую: только что посмотрел логи:
root@Instalation01:~# systemctl status ceph-osd@1 × ceph-osd@1.service - Ceph object storage daemon osd.1 Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled) Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d └─ceph-after-pve-cluster.conf Active: failed (Result: exit-code) since Tue 2025-03-11 23:13:29 MST; 10s ago Duration: 827ms Process: 19663 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 1 (code=exited, status=0/SUCCESS) Process: 19668 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id 1 --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE) Main PID: 19668 (code=exited, status=1/FAILURE) CPU: 97ms Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Scheduled restart job, restart counter is at 3. Mar 11 23:13:29 Instalation01 systemd[1]: Stopped ceph-osd@1.service - Ceph object storage daemon osd.1. Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Start request repeated too quickly. Mar 11 23:13:29 Instalation01 systemd[1]: ceph-osd@1.service : Failed with result 'exit-code'. Mar 11 23:13:29 Instalation01 systemd[1]: Failed to start ceph-osd@1.service - Ceph object storage daemon osd.1. также прикладываю файл журнала
root@Instalation01:~# systemctl status ceph-osd@0 ● ceph-osd@0.service - Ceph object storage daemon osd.0 Loaded: loaded (/lib/systemd/system/ceph-osd@.service; enabled-runtime; preset: enabled) Drop-In: /usr/lib/systemd/system/ceph-osd@.service.d └─ceph-after-pve-cluster.conf Active: activating (auto-restart) (Result: exit-code) since Tue 2025-03-11 23:19:49 MST; 5s ago Process: 22076 ExecStartPre=/usr/libexec/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id 0 (code=exited, status=0/SUCCESS) Process: 22099 ExecStart=/usr/bin/ceph-osd -f --cluster ${CLUSTER} --id 0 --setuser ceph --setgroup ceph (code=exited, status=1/FAILURE) Main PID: 22099 (code=exited, status=1/FAILURE) CPU: 104ms Только что попробовал это, но не помогло, похоже на ошибку разрешений, почти??
tbomb456
Guest
0
12.03.2025 18:11:00
Я тут нашел это в логах, когда запускал [ls /var/log/ceph/ceph-osd.log]. Похоже, Ceph не очень-то рад, что я разделил сеть кластера на IPv6, а публичный доступ - на IPv4. Нашел это на , надеюсь, это поможет.
2025-03-11T23:19:59.496-0700 75e39dbea840 0 set uid:gid to 64045:64045 (ceph:ceph) 2025-03-11T23:19:59.496-0700 75e39dbea840 0 ceph version 19.2.0 (3815e3391b18c593539df6fa952c9f45c37ee4d0) squid (stable), process ceph-osd, pid 22244 2025-03-11T23:19:59.496-0700 75e39dbea840 0 pidfile_write: ignore empty --pid-file 2025-03-11T23:19:59.498-0700 75e39dbea840 1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) open path /var/lib/ceph/osd/ceph-0/block 2025-03-11T23:19:59.498-0700 75e39dbea840 0 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block failed: (22) Invalid argument 2025-03-11T23:19:59.498-0700 75e39dbea840 1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) open size 500103643136 (0x7470800000, 466 GiB) block_size 4096 (4 KiB) rotational device, discard not supported 2025-03-11T23:19:59.498-0700 75e39dbea840 1 bluestore(/var/lib/ceph/osd/ceph-0) _set_cache_sizes cache_size 1073741824 meta 0.45 kv 0.45 kv_onode 0.04 data 0.06 2025-03-11T23:19:59.499-0700 75e39dbea840 1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) open path /var/lib/ceph/osd/ceph-0/block.db 2025-03-11T23:19:59.499-0700 75e39dbea840 0 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block.db failed: (22) Invalid argument 2025-03-11T23:19:59.499-0700 75e39dbea840 1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) open size 50012880896 (0xba5000000, 47 GiB) block_size 4096 (4 KiB) non-rotational device, discard supported 2025-03-11T23:19:59.499-0700 75e39dbea840 1 bluefs add_block_device bdev 1 path /var/lib/ceph/osd/ceph-0/block.db size 47 GiB 2025-03-11T23:19:59.500-0700 75e39dbea840 1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) open path /var/lib/ceph/osd/ceph-0/block 2025-03-11T23:19:59.500-0700 75e39dbea840 0 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) ioctl(F_SET_FILE_RW_HINT) on /var/lib/ceph/osd/ceph-0/block failed: (22) Invalid argument 2025-03-11T23:19:59.500-0700 75e39dbea840 1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) open size 500103643136 (0x7470800000, 466 GiB) block_size 4096 (4 KiB) rotational device, discard not supported 2025-03-11T23:19:59.500-0700 75e39dbea840 1 bluefs add_block_device bdev 2 path /var/lib/ceph/osd/ceph-0/block size 466 GiB 2025-03-11T23:19:59.500-0700 75e39dbea840 1 bdev(0x57456e03f180 /var/lib/ceph/osd/ceph-0/block.db) close 2025-03-11T23:19:59.767-0700 75e39dbea840 1 bdev(0x57456e03f500 /var/lib/ceph/osd/ceph-0/block) close 2025-03-11T23:20:00.012-0700 75e39dbea840 1 bdev(0x57456e03ee00 /var/lib/ceph/osd/ceph-0/block) close 2025-03-11T23:20:00.262-0700 75e39dbea840 0 starting osd.0 osd_data /var/lib/ceph/osd/ceph-0 /var/lib/ceph/osd/ceph-0/journal 2025-03-11T23:20:00.262-0700 75e39dbea840 -1 unable to find any IPv6 address in networks '192.168.23.1/24' interfaces '' 2025-03-11T23:20:00.262-0700 75e39dbea840 -1 Failed to pick public address.
gurubert
Guest
0
13.03.2025 06:26:00
Ceph не умеет работать в режиме dual stack. Вам нужно либо использовать IPv4, либо IPv6 на обеих сетях.
