+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

pve зависает во время резервного копирования. --- У кого-нибудь есть опыт решения проблем с зависаниями Proxmox VE во время создания резервных копий? Сейчас я никак не могу понять, в чём дело. Что я пробовал: * Обновление ядра до последней версии. *

RSS

spongi

Guest

13.10.2023 11:17:00

Привет всем! Использую один из этих роутеров CWWK/Topton/... Nxxx quad NIC как хост PVE. Два дня назад перешёл с устройства с N100 на абсолютно такое же устройство, только с CPU N305. Это значит, что я просто заменил два NVME-диска, SATA-диск ОС и оперативную память. Моё ежедневное резервное копирование (pbs на той же системе, снимок на внешний USB-HDD) запускается ночью, поэтому утром я заметил зависшую систему. Хост больше не реагирует на какие-либо запросы. Единственное решение — перезагрузить его через кнопку питания. Могу воспроизвести это поведение, просто запустив ручное резервное копирование одного из моих ВМ.

Спойлер: Syslog 12.10 15:14:02 pve proxmox-backup-proxy[190647]: ошибка при перечислении файлов снимка: 'не удалось загрузить блоб '"/mnt/pve/backup/vm/101/2023-10-12T12:18:27Z/index.json.blob"' - Файл не найден (os error 2)'.
12.10 15:14:08 pve pvedaemon[190730]: <root@pam> запуск задачи UPID ve:0004799A:00040CC4:6527F120:imgdel:101@pbs:root@pam:
12.10 15:14:08 pve proxmox-backup-[190647]: pve proxmox-backup-proxy[190647]: удаление резервного снимка "/mnt/pve/backup/vm/101/2023-10-12T12:18:27Z"
12.10 15:14:08 pve pvedaemon[190730]: <root@pam> завершение задачи UPID ve:0004799A:00040CC4:6527F120:imgdel:101@pbs:root@pam: OK
12.10 15:14:11 pve pvedaemon[190729]: <root@pam> запуск задачи UPID ve:000479CE:00040DCE:6527F123:vzdump:101:root@pam:
12.10 15:14:11 pve pvedaemon[293326]: INFO: запуск новой задачи резервного копирования: vzdump 101 --notes-template '{{guestname}}' --remove 0 --mode snapshot --node pve --storage pbs
12.10 15:14:11 pve pvedaemon[293326]: INFO: Запуск резервного копирования ВМ 101 (qemu)
12.10 15:14:11 pve proxmox-backup-proxy[190647]: запуск новой резервной копии на хранилище 'backup' с ::ffff:192.168.178.8: "vm/101/2023-10-12T13:14:11Z"
12.10 15:14:11 pve proxmox-backup-proxy[190647]: загрузка 'index.json.blob' из предыдущей резервной копии.
12.10 15:14:11 pve proxmox-backup-proxy[190647]: регистрация фрагментов в 'drive-scsi0.img.fidx' из предыдущей резервной копии.
12.10 15:14:12 pve proxmox-backup-proxy[190647]: загрузка 'drive-scsi0.img.fidx' из предыдущей резервной копии.
12.10 15:14:12 pve proxmox-backup-proxy[190647]: создан новый фиксированный индекс 1 ("vm/101/2023-10-12T13:14:11Z/drive-scsi0.img.fidx")
12.10 15:14:12 pve proxmox-backup-proxy[190647]: регистрация фрагментов в 'drive-scsi1.img.fidx' из предыдущей резервной копии.
12.10 15:14:12 pve proxmox-backup-proxy[190647]: загрузка 'drive-scsi1.img.fidx' из предыдущей резервной копии.
12.10 15:14:12 pve proxmox-backup-proxy[190647]: создан новый фиксированный индекс 2 ("vm/101/2023-10-12T13:14:11Z/drive-scsi1.img.fidx")
12.10 15:14:12 pve proxmox-backup-proxy[190647]: добавление блоба "/mnt/pve/backup/vm/101/2023-10-12T13:14:11Z/qemu-server.conf.blob" (420 байт, сжатие: 420)
12.10 15:14:15 pve proxmox-backup-proxy[190647]: ошибка при перечислении файлов снимка: 'не удалось загрузить блоб '"/mnt/pve/backup/vm/101/2023-10-12T13:14:11Z/index.json.blob"' - Файл не найден (os error 2)'
12.10 15:14:15 pve pveproxy[190871]: worker exit
12.10 15:14:15 pve pveproxy[2330]: worker 190871 finished
12.10 15:14:15 pve pveproxy[2330]: запуск 1 worker(s)
12.10 15:14:15 pve pveproxy[2330]: worker 300986 started
12.10 15:17:01 pve CRON[600396]: pam_unix(cron:session): сеанс открыт для пользователя root(uid=0) от (uid=0)
12.10 15:17:01 pve CRON[600397]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
12.10 15:17:01 pve CRON[600396]: pam_unix(cron:session): сеанс завершен для пользователя root(uid=0)
12.10 15:21:06 pve zed[1346716]: eid=9 class=checksum pool='datastore' vdev=nvme-Samsung_SSD_970_EVO_Plus_2TB_S4J4NM0W615820H-part1 algorithm=fletcher4 size=8192 offset=332496965632 priority=0 err=52 flags=0x380880 bookmark=671:1:0:37461792
12.10 15:21:19 pve kernel: BUG: не удалось обработать ошибку страницы для адреса: 00000e66129fa240
12.10 15:21:19 pve kernel: #PF: supervisor read access in kernel mode -- Перезагрузка --
Думаю, вот эта строка интересная: pve kernel: BUG: не удалось обработать ошибку страницы для адреса: 00000e66129fa240
Моя система полностью обновлена с пакетами из репозитория no-subscription. В прошлый раз это произошло с более старой версией ядра, я обновил её, надеясь, что это будет исправлено. У кого-нибудь есть идея, в чём может быть проблема?

jjh3

Guest

07.12.2023 04:35:00

У меня та же проблема с блоком N100 с двумя сетевыми картами, хотя у меня иногда это происходит без каких-либо логов. У меня подключен HDMI-монитор, и кажется, что он просто зависает. У меня работает PBS внутри Proxmox. Я запустил memtest на RAM, stress-ng на CPU и badblocks/smartctl на SSD, и все было в порядке. Ты упомянул, что делаешь бэкап на внешний USB-накопитель, я тоже так делаю и использую passthrough. Все ли хорошо работало на твоей системе N100? У меня есть еще один, похожий, но не идентичный N100 только с SATA-накопителями, и у него этой проблемы, кажется, нет, поэтому я думаю, что это может быть связано с USB. Еще у моего рабочего блока адаптер на 90W, а у нерабочего – только на 60W (оба – те, что шли в комплекте). Я пытаюсь выяснить, можно ли использовать адаптер на 19V на проблемном блоке, чтобы улучшить питание.

jjh3

Guest

11.12.2023 12:37:00

Думаю, я решил эту проблему. Мой блок использует DDR5 RAM (CWWK x86-P5), и похоже, что по умолчанию в настройках UEFI on-die ECC для DDR5 отключена, хотя поддержка и является обязательной. В моем блоке установлена одна 32GB SODIMM Crucial (Micron) 4800MT/s (так что оперативная память должна быть вполне хорошего качества), и она уже около недели не вылетала с включенным on-die ECC.

spongi

Guest

12.12.2023 10:17:00

Прости за поздний ответ, только что увидел твои сообщения в теме. "Решил" проблему, подключив usb-c ssd вместо usb 3.0 HDD (без собственного питания). После этого страница больше не вылетала. Но система в целом была нестабильна. Несколько дней назад она просто зависла, и даже после перезагрузки зависала через несколько минут. После отладки выяснил, что запустился автоматический scrub zpool, и, я думаю, у меня закончилась память. Потому что после ограничения памяти у моих ВМ все стало нормально. Спасибо за твою информацию про on-die ECC, я не знал, что это требование для DDR5. Я тоже использую модуль Crucial, с вчерашнего дня – на 48 ГБ. Можешь подсказать, где мне нужно смотреть настройки в UEFI?

magingale

Guest

12.12.2023 11:36:00

Получил тоже странную проблему во время резервного копирования PVE – само выключилось... очень странно, не хочу засорять твою тему, но подкину информации для поиска. Никто, конечно, кнопку питания N305 не нажимал... NAS выключен ночью и не является местом хранения для этой задачи резервного копирования.

Код:
Dec 12 04:05:00 pve kernel: nfs: server 172.16.1.2 not responding, timed out
Dec 12 04:05:01 pve CRON[483307]: pam_unix(cron:session): session closed for user root
Dec 12 04:05:05 pve pvestatd[2773687]: storage 'NFS-HDD' is not online
Dec 12 04:05:07 pve pvescheduler[480158]: INFO: Finished Backup of VM 105 (00:01:25)
Dec 12 04:05:07 pve pvescheduler[480158]: INFO: Starting Backup of VM 107 (qemu)
Dec 12 04:05:08 pve pvestatd[2773687]: storage 'backup-remote' is not online
Dec 12 04:05:08 pve pvestatd[2773687]: status update time (6.210 seconds)
Dec 12 04:05:08 pve kernel: nfs: server 172.16.1.2 not responding, timed out
Dec 12 04:05:14 pve pvestatd[2773687]: storage 'backup-remote' is not online
Dec 12 04:05:17 pve pvestatd[2773687]: storage 'NFS-HDD' is not online
Dec 12 04:05:17 pve pvestatd[2773687]: status update time (5.228 seconds)
Dec 12 04:05:18 pve kernel: nfs: server 172.16.1.2 not responding, timed out
Dec 12 04:05:23 pve kernel: nfs: server 172.16.1.2 not responding, timed out
Dec 12 04:05:26 pve pvestatd[2773687]: storage 'NFS-HDD' is not online
Dec 12 04:05:29 pve pvestatd[2773687]: storage 'backup-remote' is not online
Dec 12 04:05:30 pve pvestatd[2773687]: status update time (7.296 seconds)
Dec 12 04:05:34 pve kernel: nfs: server 172.16.1.2 not responding, timed out
Dec 12 04:05:39 pve pvestatd[2773687]: storage 'backup-remote' is not online
Dec 12 04:05:41 pve systemd-logind[3981267]: Power key pressed short.
Dec 12 04:05:41 pve systemd-logind[3981267]: Powering off...
Dec 12 04:05:41 pve systemd-logind[3981267]: System is powering down.
Dec 12 04:05:41 pve systemd[1]: 102.scope: Deactivated successfully.
Dec 12 04:05:41 pve systemd[1]: Stopped 102.scope.

jjh3

Guest

15.12.2023 00:32:00

Система по-прежнему работает без сбоев и с полной стабильностью. TrueNAS работает у меня в VM с 16 ГБ ОЗУ, и я безжалостно подвергал USB-корпус (qemu passthrough) ZFS scrubs, и никаких проблем нет, даже во время записи на диск во время scrub. Что касается моих настроек: модель моего устройства с EFI – CW-ADLNT-1C2L. Если зайти в Chipset => Memory Configuration, можно включить In-band ECC. Стоит отметить, что *думал* я, что это on-die ECC, а не in-band ECC, который обычно встречается в серверах. Поэтому я не понимаю, почему это могло исправить проблему, ведь у меня обычная DDR5 без in-band ECC. Но настройка, возможно, делает что-то большее, чем кажется.

Вот еще некоторые вещи, которые я менял раньше, возможно, они внесли свой вклад:

- Advanced => CPU - Power Management Control => Boot performance mode установлено в "Max Non-Turbo Performance"
- Advanced => CPU - Power Management Control => C states отключены
- Advanced => ACPI Settings => Enable Hibernation отключено

Я также отключил Intel ME в разделе Advanced => PCH-FW Configuration.

jjh3

Guest

15.12.2023 01:30:00

Посмотрел эту статью: https://www.anandtech.com/show/18732/asrock-industrial-nucs-box1360pd4-review-raptor-lakep-ecc/2 Там сказано, что в случае с включенной функцией "In-Band ECC" объем зарезервированной аппаратной памяти на 2 ГБ больше, чем по умолчанию. Судя по всему, резервируется 1/32 от общего объема памяти для ECC. И действительно, в Proxmox отображается только 30 ГБ оперативной памяти вместо 32 ГБ в моем случае. Оказывается, обычный серверный ECC называется "side-band ECC", а "in-band ECC" потребляет часть ОЗУ, но в остальном делает то же самое (как в данном случае). Эта функция относительно новая для процессоров Intel. Так что, хотя возможно, что у меня неисправный DIMM и он вызывает проблемы, я больше склоняюсь к тому, что есть проблемы с целостностью сигнала на маршрутизации памяти на материнской плате. Может быть, интересно будет попробовать вернуться к моей старой конфигурации, в которой были какие-то проблемы, а затем включить эту функцию in-band ECC, чтобы посмотреть, исправит ли она проблему. Еще немного информации здесь: https://docs.zephyrproject.org/latest/hardware/peripherals/edac/ibecc.html

jjh3 Guest	#8 0 15.12.2023 01:45:00 Похоже, что есть драйвер EDAC для этой формы ECC: https://patchwork.kernel.org/project/linux-edac/patch/20201105074914.3866-1-qiuxu.zhuo@intel.com/ и он был включён в ядро 5.11. Не уверен, включен ли он вообще в сборку pve-kernel. К тому же, edac-util, похоже, не работает на Proxmox начиная с версии 6: - https://forum.proxmox.com/threads/edac-utils-shows-incomplete-information-in-proxmox-6-1.64293/ - https://forum.proxmox.com/threads/edac-utils-shows-incomplete-information-in-proxmox-7-1.106470/. Так что я не вижу способа просмотреть статистику ошибок памяти.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры