Привет, столкнулся со странным случаем. У нас есть 3 кластера (production, contingency и develop). Все они работают под PVE 7.4 и Ceph 16.2.15. Мы используем кластер contingency для обмена ISO-образами для установки VM, монтируя объект хранилища Cephfs из GUI PVE. Недавно при создании VM в кластере develop, мастер зависал с любым ISO-образом. Только в этом кластере. Мы также пытались скопировать файлы с смонтированного cephfs в /mnt/pve/Instaladores/template/iso и поведение следующее: Код ошибки при остановке создания VM после нескольких минут "работы": Код: command '/usr/bin/qemu-img info '--output=json' /mnt/pve/Instaladores/template/iso/debian-12.11.0-amd64-netinst.iso' failed: received interrupt
Не удалось проанализировать вывод команды qemu-img info для '/mnt/pve/Instaladores/template/iso/debian-12.11.0-amd64-netinst.iso' - malformed JSON string, neither tag, array, object, number, string or atom, at character offset 0 (before "(end of string)") at /usr/share/perl5/PVE/Storage/Plugin.pm line 946.
ОШИБКА ЗАДАНИЯ: не удалось создать VM 3048 - volume Instaladores:iso/debian-12.11.0-amd64-netinst.iso не существует. Зависает при копировании с консоли.... Код: [root@PVE-DEV /]# cp /mnt/pve/Instaladores/template/iso/debian-12.11.0-amd64-netinst.iso ~/ Копирование файлов размером менее 998Kb работает нормально. Код: [root@PVE-DEV /]# dd if=/dev/zero of=998K.txt bs=998K count=1
1+0 records in
1+0 records out
1021952 bytes (1.0 MB, 998 KiB) copied, 0.00361033 s, 283 MB/s
[root@PVE-DEV /]# cp 998K.txt /mnt/pve/Instaladores/template/iso/ Копирование файлов размером равным или большим 999Kb не удается. Код: [root@PVE-DEV /]# dd if=/dev/zero of=999K.txt bs=999K count=1
1+0 records in
1+0 records out
1022976 bytes (1.0 MB, 999 KiB) copied, 0.0154679 s, 66.1 MB/s
[root@PVE-DEV /]# cp 999K.txt /mnt/pve/Instaladores/template/iso/ На другой консоли.... статус процесса "неразрывный сон". Код: [root@PVE-DEV /]# ps ax | grep 999K
4130433 pts/0 D+ 0:00 cp 999K.txt /mnt/pve/Instaladores/template/iso/ Мы пытались обновить CEPH до последней версии, перезапустить службы MDS, перезагрузить каждый узел, удалить и создать объект хранилища, все... Ошибок в логах нет... /etc/pve/storage.cfg Код: cephfs: Instaladores
path /mnt/pve/Instaladores
content iso
fs-name cephfs
monhost 10.x.x.x 10.x.x.x 10.x.x.x
prune-backups keep-all=1
username admin Версии: Bash: proxmox-ve: 7.4-1 (running kernel: 5.15.108-1-pve)
pve-manager: 7.4-16 (running version: 7.4-16/0f39f621)
pve-kernel-5.15: 7.4-4
pve-kernel-5.4: 6.4-20
pve-kernel-5.15.108-1-pve: 5.15.108-1
pve-kernel-5.4.203-1-pve: 5.4.203-1
pve-kernel-5.4.106-1-pve: 5.4.106-1
ceph: 16.2.15-pve1
ceph-fuse: 16.2.15-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: residual config
ifupdown2: 3.1.0-1+pmx4
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0~bpo11+3
libvirt: 7.16.0~bpo11+1
lvm2: 2.04.19-2
lvm2-luks: 2.04.19-2
ltd: 1.18.2-1
multipath-tools: 1.18.2-1
net-tools: 2.25-1
ntp: 4.40.1-1
ntp-comp: 4.40.1-1
open-iscsi: 2.04-1
open-iscsi-initiator-utils: 2.04-1
parted: 5.0.0-1
pykickstart: 1.25-1
pve-archive-converter: 7.4-2
pve-cluster: 7.4-2
pve-dns: 7.4-2
pve-firewall: 7.4-2
pve-ssh: 7.4-2
qemu-kvm: 7.4-2
qemu-guest-agent: 7.4-2
rsyslog: 8.17.7-1
smartmontools: 7.2-pve3
ssh: 7.6.1p1-1
swtpm: 0.8.0~bpo11+3
systemd-journal: 251.14-2
tcpdump: 4.9.10-1
udev: 246.3-1
vncterm: 1.7-1
zfsutils-linux: 2.1.11-pve1 На сервере... Код: [root@node1 ~]# ceph status
cluster:
id: cdab5d3f-42a0-4cba-8e91-7a79c10404ed
health: HEALTH_OK
services:
mon: 4 daemons, quorum node1,node2,node3,node4 (age 4d)
mgr: node3(active, since 4d), standbys: node2, node1
mds: 1/1 daemons up, 2 standby
osd: 24 osds: 24 up (since 4d), 24 in (since 3M)
data:
volumes: 1/1 healthy
pools: 4 pools, 169 pgs
objects: 491.38k objects, 1.7 TiB
usage: 5.0 TiB used, 15 TiB / 20 TiB avail
pgs: 169 active+clean
io:
client: 37 KiB/s rd, 2.9 MiB/s wr, 9 op/s rd, 379 op/s wr Код: [root@PVE-CONT /]# ceph fs get cephfs
Filesystem 'cephfs' (1)
fs_name cephfs
epoch 264
flags 12
created 2020-12-02T11:21:08.352970-0300
modified 2025-05-29T14:16:11.172011-0300
tableserver 0
root 0
session_timeout 60
session_autoclose 300
max_file_size 1099511627776
required_client_features {}
last_failure 0
last_failure_osd_epoch 46897
compat compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,7=mds uses inline data,8=no anchor table,9=file layout v2,10=snaprealm v2}
max_mds 1
in 0
up {0=277564840}
failed
damaged
stopped
data_pools [7]
metadata_pool 8
inline_data disabled
balancer
standby_count_wanted 1
[mds.node1{0:277564840} state up:active seq 7 addr [v2:10.6.25.4:6800/1338729611,v1:10.6.25.4:6801/1338729611] compat {c=[1],r=[1],i=[7ff]}]
Не удалось проанализировать вывод команды qemu-img info для '/mnt/pve/Instaladores/template/iso/debian-12.11.0-amd64-netinst.iso' - malformed JSON string, neither tag, array, object, number, string or atom, at character offset 0 (before "(end of string)") at /usr/share/perl5/PVE/Storage/Plugin.pm line 946.
ОШИБКА ЗАДАНИЯ: не удалось создать VM 3048 - volume Instaladores:iso/debian-12.11.0-amd64-netinst.iso не существует. Зависает при копировании с консоли.... Код: [root@PVE-DEV /]# cp /mnt/pve/Instaladores/template/iso/debian-12.11.0-amd64-netinst.iso ~/ Копирование файлов размером менее 998Kb работает нормально. Код: [root@PVE-DEV /]# dd if=/dev/zero of=998K.txt bs=998K count=1
1+0 records in
1+0 records out
1021952 bytes (1.0 MB, 998 KiB) copied, 0.00361033 s, 283 MB/s
[root@PVE-DEV /]# cp 998K.txt /mnt/pve/Instaladores/template/iso/ Копирование файлов размером равным или большим 999Kb не удается. Код: [root@PVE-DEV /]# dd if=/dev/zero of=999K.txt bs=999K count=1
1+0 records in
1+0 records out
1022976 bytes (1.0 MB, 999 KiB) copied, 0.0154679 s, 66.1 MB/s
[root@PVE-DEV /]# cp 999K.txt /mnt/pve/Instaladores/template/iso/ На другой консоли.... статус процесса "неразрывный сон". Код: [root@PVE-DEV /]# ps ax | grep 999K
4130433 pts/0 D+ 0:00 cp 999K.txt /mnt/pve/Instaladores/template/iso/ Мы пытались обновить CEPH до последней версии, перезапустить службы MDS, перезагрузить каждый узел, удалить и создать объект хранилища, все... Ошибок в логах нет... /etc/pve/storage.cfg Код: cephfs: Instaladores
path /mnt/pve/Instaladores
content iso
fs-name cephfs
monhost 10.x.x.x 10.x.x.x 10.x.x.x
prune-backups keep-all=1
username admin Версии: Bash: proxmox-ve: 7.4-1 (running kernel: 5.15.108-1-pve)
pve-manager: 7.4-16 (running version: 7.4-16/0f39f621)
pve-kernel-5.15: 7.4-4
pve-kernel-5.4: 6.4-20
pve-kernel-5.15.108-1-pve: 5.15.108-1
pve-kernel-5.4.203-1-pve: 5.4.203-1
pve-kernel-5.4.106-1-pve: 5.4.106-1
ceph: 16.2.15-pve1
ceph-fuse: 16.2.15-pve1
corosync: 3.1.7-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: residual config
ifupdown2: 3.1.0-1+pmx4
ksm-control-daemon: 1.4-1
libjs-extjs: 7.0.0~bpo11+3
libvirt: 7.16.0~bpo11+1
lvm2: 2.04.19-2
lvm2-luks: 2.04.19-2
ltd: 1.18.2-1
multipath-tools: 1.18.2-1
net-tools: 2.25-1
ntp: 4.40.1-1
ntp-comp: 4.40.1-1
open-iscsi: 2.04-1
open-iscsi-initiator-utils: 2.04-1
parted: 5.0.0-1
pykickstart: 1.25-1
pve-archive-converter: 7.4-2
pve-cluster: 7.4-2
pve-dns: 7.4-2
pve-firewall: 7.4-2
pve-ssh: 7.4-2
qemu-kvm: 7.4-2
qemu-guest-agent: 7.4-2
rsyslog: 8.17.7-1
smartmontools: 7.2-pve3
ssh: 7.6.1p1-1
swtpm: 0.8.0~bpo11+3
systemd-journal: 251.14-2
tcpdump: 4.9.10-1
udev: 246.3-1
vncterm: 1.7-1
zfsutils-linux: 2.1.11-pve1 На сервере... Код: [root@node1 ~]# ceph status
cluster:
id: cdab5d3f-42a0-4cba-8e91-7a79c10404ed
health: HEALTH_OK
services:
mon: 4 daemons, quorum node1,node2,node3,node4 (age 4d)
mgr: node3(active, since 4d), standbys: node2, node1
mds: 1/1 daemons up, 2 standby
osd: 24 osds: 24 up (since 4d), 24 in (since 3M)
data:
volumes: 1/1 healthy
pools: 4 pools, 169 pgs
objects: 491.38k objects, 1.7 TiB
usage: 5.0 TiB used, 15 TiB / 20 TiB avail
pgs: 169 active+clean
io:
client: 37 KiB/s rd, 2.9 MiB/s wr, 9 op/s rd, 379 op/s wr Код: [root@PVE-CONT /]# ceph fs get cephfs
Filesystem 'cephfs' (1)
fs_name cephfs
epoch 264
flags 12
created 2020-12-02T11:21:08.352970-0300
modified 2025-05-29T14:16:11.172011-0300
tableserver 0
root 0
session_timeout 60
session_autoclose 300
max_file_size 1099511627776
required_client_features {}
last_failure 0
last_failure_osd_epoch 46897
compat compat={},rocompat={},incompat={1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,7=mds uses inline data,8=no anchor table,9=file layout v2,10=snaprealm v2}
max_mds 1
in 0
up {0=277564840}
failed
damaged
stopped
data_pools [7]
metadata_pool 8
inline_data disabled
balancer
standby_count_wanted 1
[mds.node1{0:277564840} state up:active seq 7 addr [v2:10.6.25.4:6800/1338729611,v1:10.6.25.4:6801/1338729611] compat {c=[1],r=[1],i=[7ff]}]
