Добрый день, в последнее время мы наблюдаем ошибку ERROR: interrupted by signal при создании резервной копии с помощью Proxmox Backup Server. Эта проблема возникает не для всех виртуальных машин, а только для определенных, которые между собой не связаны. Более того, проблема возникает на разных гипервизорах, в разное время и в разных кластерах. И везде ошибка одна и та же. Мы проверили возможность прерывания резервного копирования, например, пользователем, но у обычных пользователей нет доступа к веб-интерфейсу и API. Также мы проверяли скачки использования ОЗУ в системе мониторинга, но потребление памяти всегда примерно одинаковое.
В процессе отладки мы обнаружили, что что-то принудительно прерывает процесс резервного копирования. Журнал ошибок из веб-интерфейса и трассировка процессора приложены к этому сообщению.
Ошибка: Bash: Proxmox Virtual Environment 8.4.0 (ядро: 6.8.12-10-pve)
Виртуальная машина 100824 (laidjqznrqcurc) на узле 'hv51'
INFO: начало нового задания резервного копирования: vzdump 100824 --mode snapshot --quiet 1 --storage bkp.cloud.local-storage1 --notes-template autobackup_hcc --prune-backups 'keep-daily=1,keep-monthly=0,keep-weekly=1'
INFO: Начало резервного копирования ВМ 100824 (qemu)
INFO: Резервное копирование началось 2025-05-27 03:15:05
INFO: status = running
INFO: Имя ВМ: laidjqznrqcurc
INFO: включен диск 'virtio0' 'onapp-utvwbhhizvjosv:vm-100824-disk-0' 355G
INFO: режим резервного копирования: snapshot
INFO: приоритет ionice: 7
INFO: создание архива Proxmox Backup Server 'vm/100824/2025-05-27T00:15:05Z'
INFO: пропуск guest-agent 'fs-freeze', агент настроен, но не запущен?
INFO: начата задача резервного копирования 'f7e90832-2484-49b4-9c66-df87bd0b82a5'
INFO: ВМ возобновлена
INFO: virtio0: статус dirty-bitmap: создан новый
INFO: 0% (768.0 MiB из 355.0 GiB) за 3с, чтение: 256.0 MiB/с, запись: 121.3 MiB/с
INFO: 1% (3.6 GiB из 355.0 GiB) за 17с, чтение: 209.1 MiB/с, запись: 168.3 MiB/с
INFO: 2% (7.3 GiB из 355.0 GiB) за 36с, чтение: 197.9 MiB/с, запись: 166.9 MiB/с
INFO: 3% (10.8 GiB из 355.0 GiB) за 54с, чтение: 199.3 MiB/с, запись: 172.4 MiB/с
ERROR: interrupted by signal
INFO: прерывание задания резервного копирования
INFO: ВМ возобновлена
ERROR: Резервное копирование ВМ 100824 не удалось - interrupted by signal
INFO: Ошибка 2025-05-27 03:16:09
ERROR: Задание резервного копирования не удалось - interrupted by signal
INFO: пропуск отключенного сопоставителя 'default-matcher'
TASK ERROR: interrupted by signal Trace: Bash: pselect6(24, [18], [18], NULL, {tv_sec=599, tv_nsec=998259000}, NULL) = 1 (out [18], left {tv_sec=599, tv_nsec=998256792})
write(18, "{\"arguments\":{},\"execute\":\"query"..., 61) = 61
pselect6(24, [18], [], NULL, {tv_sec=599, tv_nsec=998026000}, NULL) = 1 (in [18], left {tv_sec=599, tv_nsec=997160204})
read(18, "{\"return\": {\"total\": 64424509440"..., 8192) = 340
close(18) = 0
clock_nanosleep(CLOCK_REALTIME, 0, {tv_sec=1, tv_nsec=0}, {tv_sec=0, tv_nsec=502936536}) = ? ERESTART_RESTARTBLOCK (Interrupted by signal)
--- SIGTERM {si_signo=SIGTERM, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
libpve-header: Stopping job "vzdump" with PID 1234
pve-container-admin: Container stop requested, sending signal SIGTERM to container 100824
pve-cluster: Setting cluster node 'hv51' to 'maintenance'
pve-cluster: Cluster node 'hv51' marked for maintenance.
pve-cluster: Starting migration of VM 100824 from hv51 to hv52
pve-cluster: Migration started
--- SIGUSR1 {si_signo=10, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
--- SIGUSR2 {si_signo=12, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
--- SIGABRT {si_signo=6, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
INFO: VM migration completed
INFO: Setting cluster node 'hv51' back to 'online'
pve-cluster: Cluster node 'hv51' restored.
INFO: Node 'hv51' came back online
pve-container-admin: Container start requested, starting container 100824
pve-storage-local: Stopped
pve-storage-local: Started
Версии:
Proxmox VE 8.4.0-1
Kernel 6.8.12-pve1
Proxmox Backup Server 3.4.1-1
pve-cluster 8.1.0
pve-container 5.2.6
ceph-fuse 16.2.15+ds-0+deb12u1
corosync 3.1.9-pve1
criu 3.17.1-2+deb12u1
frr-pythontools 10.2.2-1+pve1
glusterfs-client 10.3-5
ifupdown2 3.2.0-1+pmx11
ksm-control-daemon 1.5-1
libjs-extjs 7.0.0-5
libknet1 1.30-pve2
libproxmox-acme-perl 1.6.0
libproxmox-backup-qemu0 1.5.1
libproxmox-rs-perl 0.3.5
libpve-access-control 8.2.2
libpve-apiclient-perl 3.3.2
libpve-cluster-api-perl 8.1.0
libpve-cluster-perl 8.1.0
libpve-common-perl 8.3.1
libpve-guest-common-perl 5.2.2
libpve-http-server-perl 5.2.2
libpve-network-perl 0.11.2
libpve-rs-perl 0.9.4
libpve-storage-perl 8.3.6
libspice-server1 0.15.1-1
lvm2 2.03.16-2
lxc-pve 6.0.0-1
lxcfs 6.0.0-pve2
novnc-pve 1.6.0-2
proxmox-backup-client 3.4.1-1
proxmox-backup-file-restore 3.4.1-1
proxmox-firewall 0.7.1
proxmox-kernel-helper 8.1.1
proxmox-mail-forward 0.3.2
proxmox-mini-journalreader 1.4.0
proxmox-widget-toolkit 4.3.10
pve-docs 8.4.0
pve-edk2-firmware 4.2025.02-3
pve-esxi-import-tools 0.7.4
pve-firewall 5.1.1
pve-firmware 3.15-3
pve-ha-manager 4.0.7
pve-i18n 3.4.2
pve-qemu-kvm 9.2.0-5
pve-xtermjs 5.5.0-2
qemu-server 8.3.12
smartmontools 7.3-pve1
spiceterm 3.3.0
swtpm 0.8.0+pve1
vncterm 1.8.0
zfsutils-linux 2.2.7-pve2
В процессе отладки мы обнаружили, что что-то принудительно прерывает процесс резервного копирования. Журнал ошибок из веб-интерфейса и трассировка процессора приложены к этому сообщению.
Ошибка: Bash: Proxmox Virtual Environment 8.4.0 (ядро: 6.8.12-10-pve)
Виртуальная машина 100824 (laidjqznrqcurc) на узле 'hv51'
INFO: начало нового задания резервного копирования: vzdump 100824 --mode snapshot --quiet 1 --storage bkp.cloud.local-storage1 --notes-template autobackup_hcc --prune-backups 'keep-daily=1,keep-monthly=0,keep-weekly=1'
INFO: Начало резервного копирования ВМ 100824 (qemu)
INFO: Резервное копирование началось 2025-05-27 03:15:05
INFO: status = running
INFO: Имя ВМ: laidjqznrqcurc
INFO: включен диск 'virtio0' 'onapp-utvwbhhizvjosv:vm-100824-disk-0' 355G
INFO: режим резервного копирования: snapshot
INFO: приоритет ionice: 7
INFO: создание архива Proxmox Backup Server 'vm/100824/2025-05-27T00:15:05Z'
INFO: пропуск guest-agent 'fs-freeze', агент настроен, но не запущен?
INFO: начата задача резервного копирования 'f7e90832-2484-49b4-9c66-df87bd0b82a5'
INFO: ВМ возобновлена
INFO: virtio0: статус dirty-bitmap: создан новый
INFO: 0% (768.0 MiB из 355.0 GiB) за 3с, чтение: 256.0 MiB/с, запись: 121.3 MiB/с
INFO: 1% (3.6 GiB из 355.0 GiB) за 17с, чтение: 209.1 MiB/с, запись: 168.3 MiB/с
INFO: 2% (7.3 GiB из 355.0 GiB) за 36с, чтение: 197.9 MiB/с, запись: 166.9 MiB/с
INFO: 3% (10.8 GiB из 355.0 GiB) за 54с, чтение: 199.3 MiB/с, запись: 172.4 MiB/с
ERROR: interrupted by signal
INFO: прерывание задания резервного копирования
INFO: ВМ возобновлена
ERROR: Резервное копирование ВМ 100824 не удалось - interrupted by signal
INFO: Ошибка 2025-05-27 03:16:09
ERROR: Задание резервного копирования не удалось - interrupted by signal
INFO: пропуск отключенного сопоставителя 'default-matcher'
TASK ERROR: interrupted by signal Trace: Bash: pselect6(24, [18], [18], NULL, {tv_sec=599, tv_nsec=998259000}, NULL) = 1 (out [18], left {tv_sec=599, tv_nsec=998256792})
write(18, "{\"arguments\":{},\"execute\":\"query"..., 61) = 61
pselect6(24, [18], [], NULL, {tv_sec=599, tv_nsec=998026000}, NULL) = 1 (in [18], left {tv_sec=599, tv_nsec=997160204})
read(18, "{\"return\": {\"total\": 64424509440"..., 8192) = 340
close(18) = 0
clock_nanosleep(CLOCK_REALTIME, 0, {tv_sec=1, tv_nsec=0}, {tv_sec=0, tv_nsec=502936536}) = ? ERESTART_RESTARTBLOCK (Interrupted by signal)
--- SIGTERM {si_signo=SIGTERM, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
libpve-header: Stopping job "vzdump" with PID 1234
pve-container-admin: Container stop requested, sending signal SIGTERM to container 100824
pve-cluster: Setting cluster node 'hv51' to 'maintenance'
pve-cluster: Cluster node 'hv51' marked for maintenance.
pve-cluster: Starting migration of VM 100824 from hv51 to hv52
pve-cluster: Migration started
--- SIGUSR1 {si_signo=10, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
--- SIGUSR2 {si_signo=12, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
--- SIGABRT {si_signo=6, si_code=0, si_addr=0x0, si_pid=0, si_uid=0, si_status=0x0}
INFO: VM migration completed
INFO: Setting cluster node 'hv51' back to 'online'
pve-cluster: Cluster node 'hv51' restored.
INFO: Node 'hv51' came back online
pve-container-admin: Container start requested, starting container 100824
pve-storage-local: Stopped
pve-storage-local: Started
Версии:
Proxmox VE 8.4.0-1
Kernel 6.8.12-pve1
Proxmox Backup Server 3.4.1-1
pve-cluster 8.1.0
pve-container 5.2.6
ceph-fuse 16.2.15+ds-0+deb12u1
corosync 3.1.9-pve1
criu 3.17.1-2+deb12u1
frr-pythontools 10.2.2-1+pve1
glusterfs-client 10.3-5
ifupdown2 3.2.0-1+pmx11
ksm-control-daemon 1.5-1
libjs-extjs 7.0.0-5
libknet1 1.30-pve2
libproxmox-acme-perl 1.6.0
libproxmox-backup-qemu0 1.5.1
libproxmox-rs-perl 0.3.5
libpve-access-control 8.2.2
libpve-apiclient-perl 3.3.2
libpve-cluster-api-perl 8.1.0
libpve-cluster-perl 8.1.0
libpve-common-perl 8.3.1
libpve-guest-common-perl 5.2.2
libpve-http-server-perl 5.2.2
libpve-network-perl 0.11.2
libpve-rs-perl 0.9.4
libpve-storage-perl 8.3.6
libspice-server1 0.15.1-1
lvm2 2.03.16-2
lxc-pve 6.0.0-1
lxcfs 6.0.0-pve2
novnc-pve 1.6.0-2
proxmox-backup-client 3.4.1-1
proxmox-backup-file-restore 3.4.1-1
proxmox-firewall 0.7.1
proxmox-kernel-helper 8.1.1
proxmox-mail-forward 0.3.2
proxmox-mini-journalreader 1.4.0
proxmox-widget-toolkit 4.3.10
pve-docs 8.4.0
pve-edk2-firmware 4.2025.02-3
pve-esxi-import-tools 0.7.4
pve-firewall 5.1.1
pve-firmware 3.15-3
pve-ha-manager 4.0.7
pve-i18n 3.4.2
pve-qemu-kvm 9.2.0-5
pve-xtermjs 5.5.0-2
qemu-server 8.3.12
smartmontools 7.3-pve1
spiceterm 3.3.0
swtpm 0.8.0+pve1
vncterm 1.8.0
zfsutils-linux 2.2.7-pve2
