Привет! На моём домашнем сервере Proxmox осталось мало места, и из-за этого запланированное резервное копирование не удаётся. Это не проблема, потому что у меня есть тестовая ВМ, которую я скоро удалю. Но я обнаружил, что когда резервное копирование ВМ 106 не удаётся, виртуальная машина блокируется и её невозможно разблокировать! Если я её выключаю и пытаюсь перезапустить, она не стартует из-за блокировки. Пока что единственное решение — перезагрузить весь сервер Proxmox.
Вот детали. Меня пугает ошибка ввода-вывода, если я пытаюсь вручную удалить файл блокировки, и тот факт, что команда qm unlock пытается удалить файл, которого не существует.
Код:
root@proxmox:/srv/backup/dump# cat vzdump-qemu-106-2013_01_06-04_04_57.log
Jan 06 04:04:57 INFO: Starting Backup of VM 106 (qemu)
Jan 06 04:04:57 INFO: status = running
Jan 06 04:04:58 INFO: backup mode: snapshot
Jan 06 04:04:58 INFO: ionice priority: 7
Jan 06 04:04:58 INFO: Logical volume "vzsnap-proxmox-0" created
Jan 06 04:04:58 INFO: creating archive '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tar.lzo'
Jan 06 04:04:58 INFO: adding '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tmp/qemu-server.conf' to archive ('qemu-server.conf')
Jan 06 04:04:58 INFO: adding '/mnt/vzsnap0/images/106/vm-106-disk-1.qcow2' to archive ('vm-disk-ide0.qcow2')
Jan 06 04:25:28 INFO: lzop: No space left on device: <stdout>
Jan 06 04:25:28 INFO: received signal - terminate process
Jan 06 04:25:30 INFO: unable to open file '/etc/pve/nodes/proxmox/qemu-server/106.conf.tmp.118536' - Input/output error
Jan 06 04:25:31 INFO: error writing /etc/mtab.tmp: No space left on device
Jan 06 04:25:31 ERROR: command 'umount /mnt/vzsnap0' failed: exit code 16
Jan 06 04:25:39 INFO: lvremove failed - trying again in 8 seconds
Jan 06 04:25:47 INFO: lvremove failed - trying again in 16 seconds
Jan 06 04:26:03 INFO: lvremove failed - trying again in 32 seconds
Jan 06 04:26:39 ERROR: Backup of VM 106 failed - command '/usr/lib/qemu-server/vmtar '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tmp/qemu-server.conf' 'qemu-server.conf' '/mnt/vzsnap0/images/106/vm-106-disk-1.qcow2' 'vm-disk-ide0.qcow2'|lzop >/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tar.dat' failed: exit code 1
root@proxmox:/srv/backup/dump# mount
/dev/mapper/pve-root on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/dev/mapper/pve-data on /var/lib/vz type ext3 (rw)
/dev/sda1 on /boot type ext3 (rw)
fusectl on /sys/fs/fuse/connections type fusectl (rw)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,default_permissions,allow_other)
beancounter on /proc/vz/beancounter type cgroup (rw,name=beancounter)
container on /proc/vz/container type cgroup (rw,name=container)
fairsched on /proc/vz/fairsched type cgroup (rw,name=fairsched)
root@proxmox:/srv/backup/dump# cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content images,iso,vztmpl,rootdir
dir: backup
path /srv/backup
content backup
maxfiles 2
root@proxmox:/srv/backup/dump# vgdisplay
--- Volume group ---
VG Name pve
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 484
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 3
Max PV 0
Cur PV 1
Act PV 1
VG Size 372.11 GiB
PE Size 4.00 MiB
Total PE 95260
Alloc PE / Size 91165 / 356.11 GiB
Free PE / Size 4095 / 16.00 GiB
VG UUID MdGnNc-bXFN-FY8X-BbTU-g7LB-JxrD-Kzr6ge
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# ls -l
total 5
-rw-r----- 1 root www-data 279 Jan 6 04:04 100.conf
-rw-r----- 1 root www-data 435 Apr 23 2012 101.conf
-rw-r----- 1 root www-data 1419 Dec 13 14:35 102.conf
-rw-r----- 1 root www-data 739 Mar 31 2012 104.conf
-rw-r----- 1 root www-data 489 Jan 6 04:04 106.conf
-rw-r----- 1 root www-data 0 Jan 6 04:25 106.conf.tmp.118536
-rw-r----- 1 root www-data 0 Dec 30 04:27 106.conf.tmp.314414
-rw-r----- 1 root www-data 262 Apr 9 2012 111.conf
-rw-r----- 1 root www-data 248 Mar 31 2012 114.conf
-rw-r----- 1 root www-data 239 Dec 20 21:37 200.conf
-rw-r----- 1 root www-data 906 Dec 28 00:31 204.conf
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# rm 106.conf.tmp.314414
rm: невозможно удалить `106.conf.tmp.314414': ошибка ввода-вывода
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# rm 106.conf.tmp.118536
rm: невозможно удалить `106.conf.tmp.118536': ошибка ввода-вывода
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# qm unlock 106
невозможно открыть файл '/etc/pve/nodes/proxmox/qemu-server/106.conf.tmp.164466' — ошибка ввода-вывода
root@proxmox:/var/lib/vz# ls -l /var/lib/vz/lock
total 0
root@proxmox:/srv/backup/dump# lsof | grep 106.conf
root@proxmox:/srv/backup/dump# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/pve-root 92G 74G 14G 85% /
tmpfs 3.9G 0 3.9G 0% /lib/init/rw
udev 3.9G 228K 3.9G 1% /dev
tmpfs 3.9G 19M 3.9G 1% /dev/shm
/dev/mapper/pve-data 253G 91G 162G 36% /var/lib/vz
/dev/sda1 495M 133M 338M 29% /boot
/dev/fuse 30M 20K 30M 1% /etc/pve
root@proxmox:/srv/backup/dump# Это баг, который нужно зарегистрировать в багтрекере?
Вот детали. Меня пугает ошибка ввода-вывода, если я пытаюсь вручную удалить файл блокировки, и тот факт, что команда qm unlock пытается удалить файл, которого не существует.
Код:
root@proxmox:/srv/backup/dump# cat vzdump-qemu-106-2013_01_06-04_04_57.log
Jan 06 04:04:57 INFO: Starting Backup of VM 106 (qemu)
Jan 06 04:04:57 INFO: status = running
Jan 06 04:04:58 INFO: backup mode: snapshot
Jan 06 04:04:58 INFO: ionice priority: 7
Jan 06 04:04:58 INFO: Logical volume "vzsnap-proxmox-0" created
Jan 06 04:04:58 INFO: creating archive '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tar.lzo'
Jan 06 04:04:58 INFO: adding '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tmp/qemu-server.conf' to archive ('qemu-server.conf')
Jan 06 04:04:58 INFO: adding '/mnt/vzsnap0/images/106/vm-106-disk-1.qcow2' to archive ('vm-disk-ide0.qcow2')
Jan 06 04:25:28 INFO: lzop: No space left on device: <stdout>
Jan 06 04:25:28 INFO: received signal - terminate process
Jan 06 04:25:30 INFO: unable to open file '/etc/pve/nodes/proxmox/qemu-server/106.conf.tmp.118536' - Input/output error
Jan 06 04:25:31 INFO: error writing /etc/mtab.tmp: No space left on device
Jan 06 04:25:31 ERROR: command 'umount /mnt/vzsnap0' failed: exit code 16
Jan 06 04:25:39 INFO: lvremove failed - trying again in 8 seconds
Jan 06 04:25:47 INFO: lvremove failed - trying again in 16 seconds
Jan 06 04:26:03 INFO: lvremove failed - trying again in 32 seconds
Jan 06 04:26:39 ERROR: Backup of VM 106 failed - command '/usr/lib/qemu-server/vmtar '/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tmp/qemu-server.conf' 'qemu-server.conf' '/mnt/vzsnap0/images/106/vm-106-disk-1.qcow2' 'vm-disk-ide0.qcow2'|lzop >/srv/backup/dump/vzdump-qemu-106-2013_01_06-04_04_57.tar.dat' failed: exit code 1
root@proxmox:/srv/backup/dump# mount
/dev/mapper/pve-root on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/dev/mapper/pve-data on /var/lib/vz type ext3 (rw)
/dev/sda1 on /boot type ext3 (rw)
fusectl on /sys/fs/fuse/connections type fusectl (rw)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,default_permissions,allow_other)
beancounter on /proc/vz/beancounter type cgroup (rw,name=beancounter)
container on /proc/vz/container type cgroup (rw,name=container)
fairsched on /proc/vz/fairsched type cgroup (rw,name=fairsched)
root@proxmox:/srv/backup/dump# cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content images,iso,vztmpl,rootdir
dir: backup
path /srv/backup
content backup
maxfiles 2
root@proxmox:/srv/backup/dump# vgdisplay
--- Volume group ---
VG Name pve
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 484
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 3
Max PV 0
Cur PV 1
Act PV 1
VG Size 372.11 GiB
PE Size 4.00 MiB
Total PE 95260
Alloc PE / Size 91165 / 356.11 GiB
Free PE / Size 4095 / 16.00 GiB
VG UUID MdGnNc-bXFN-FY8X-BbTU-g7LB-JxrD-Kzr6ge
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# ls -l
total 5
-rw-r----- 1 root www-data 279 Jan 6 04:04 100.conf
-rw-r----- 1 root www-data 435 Apr 23 2012 101.conf
-rw-r----- 1 root www-data 1419 Dec 13 14:35 102.conf
-rw-r----- 1 root www-data 739 Mar 31 2012 104.conf
-rw-r----- 1 root www-data 489 Jan 6 04:04 106.conf
-rw-r----- 1 root www-data 0 Jan 6 04:25 106.conf.tmp.118536
-rw-r----- 1 root www-data 0 Dec 30 04:27 106.conf.tmp.314414
-rw-r----- 1 root www-data 262 Apr 9 2012 111.conf
-rw-r----- 1 root www-data 248 Mar 31 2012 114.conf
-rw-r----- 1 root www-data 239 Dec 20 21:37 200.conf
-rw-r----- 1 root www-data 906 Dec 28 00:31 204.conf
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# rm 106.conf.tmp.314414
rm: невозможно удалить `106.conf.tmp.314414': ошибка ввода-вывода
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# rm 106.conf.tmp.118536
rm: невозможно удалить `106.conf.tmp.118536': ошибка ввода-вывода
root@proxmox:/etc/pve/nodes/proxmox/qemu-server# qm unlock 106
невозможно открыть файл '/etc/pve/nodes/proxmox/qemu-server/106.conf.tmp.164466' — ошибка ввода-вывода
root@proxmox:/var/lib/vz# ls -l /var/lib/vz/lock
total 0
root@proxmox:/srv/backup/dump# lsof | grep 106.conf
root@proxmox:/srv/backup/dump# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/pve-root 92G 74G 14G 85% /
tmpfs 3.9G 0 3.9G 0% /lib/init/rw
udev 3.9G 228K 3.9G 1% /dev
tmpfs 3.9G 19M 3.9G 1% /dev/shm
/dev/mapper/pve-data 253G 91G 162G 36% /var/lib/vz
/dev/sda1 495M 133M 338M 29% /boot
/dev/fuse 30M 20K 30M 1% /etc/pve
root@proxmox:/srv/backup/dump# Это баг, который нужно зарегистрировать в багтрекере?
