Аспро: ЛайтШоп [тема: Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования]

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 30 Jan 2023 14:24:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Добавление `tuning sync-level=none` в соответствующий дата-сторейдж в `/etc/proxmox-backup/datastore.cfg` действительно сработало. Теперь бэкапы успешно завершаются. Мне интересно, почему эта проблема возникает именно на моём локальном хранилище ZFS, которое на самом деле не имеет отдельного ZIL (поскольку это архивный HDD). Во время тестов я никогда не замечал IO-waits на этих устройствах, так что, возможно, дело в каких-то проблемах с openzfs или даже в преждевременном «голодании», как отметил @RolandK. В любом случае, возможно, опция по умолчанию 'filesystem' не должна использоваться на устройствах ZFS. Полагаю, что лишь немногие пользуются SSD или HDD с SSD zil для архивов
30.01.2023 14:24:00, Kadrim.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 30 Jan 2023 12:03:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Это простой вызов syncfs — см. https://pbs.proxmox.com/docs/storage.html#options
30.01.2023 12:03:00, fabian.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 30 Jan 2023 11:59:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
@fabian, что именно происходит на уровне файловой системы, когда pbs «синхронизирует хранилище»? Если в ZFS нет ZIL, синхронная запись на ZFS (на обычном жёстком диске) может быть очень медленной и даже приводить к долгим блокировкам. Кроме того, в планировщике синхронных записей в ZFS отсутствует справедливость, поэтому некоторые задачи могут голодать длительное время, см. https://github.com/openzfs/zfs/issues/10110
30.01.2023 11:59:00, RolandK.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 30 Jan 2023 09:33:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Хорошо, последняя строка показывает, что происходит "зависание" при синхронизации datastore. Ты упоминал ранее, что он находится на локальном хранилище ZFS. Информация о версии из твоего первого сообщения совпадает с этим изменением, которое поменяло настройку по умолчанию с отсутствия синхронизации на синхронизацию файловой системы datastore: https://git.proxmox.com/?p=proxmox-backup.git;a=commit;h=4694dede0e0600ed6b111b95877b12d4326149b7 Можешь проверить, исчезнет ли проблема, если вернуть уровень синхронизации на "none"?
30.01.2023 09:33:00, fabian.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Sat, 28 Jan 2023 09:27:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Извини за поздний ответ — был сильно занят и не было времени провести тесты. Поскольку мой pbs установлен вместе с pve (bare-metal), у меня объединённый лог:

Код:
Jan 28 09:12:05 pve pvedaemon[17861]: запускается задача UPID:pve:00042639:0002E52B:63D4D8D5:vzdump:102:root@pam:
Jan 28 09:12:05 pve pvedaemon[271929]: INFO: стартует новая задача бэкапа: vzdump 102 --storage pbs --remove 0 --notes-template '{{guestname}}' --node pve --mode snapshot
Jan 28 09:12:05 pve pvedaemon[271929]: INFO: Запуск бэкапа ВМ 102 (qemu)
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: запуск нового бэкапа на хранилище 'pbs': "vm/102/2023-01-28T08:12:05Z"
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: скачиваю 'index.json.blob' с предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: регистрирую чанки в 'drive-efidisk0.img.fidx' из предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: скачиваю 'drive-efidisk0.img.fidx' с предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: создан новый фиксированный индекс 1 ("vm/102/2023-01-28T08:12:05Z/drive-efidisk0.img.fidx")
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: регистрирую чанки в 'drive-scsi0.img.fidx' из предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: скачиваю 'drive-scsi0.img.fidx' с предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: создан новый фиксированный индекс 2 ("vm/102/2023-01-28T08:12:05Z/drive-scsi0.img.fidx")
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: регистрирую чанки в 'drive-tpmstate0-backup.img.fidx' из предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: скачиваю 'drive-tpmstate0-backup.img.fidx' с предыдущего бэкапа.
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: создан новый фиксированный индекс 3 ("vm/102/2023-01-28T08:12:05Z/drive-tpmstate0-backup.img.fidx")
Jan 28 09:12:07 pve proxmox-backup-proxy[236444]: добавляю blob "/mnt/unsecured/backup/pbs/vm/102/2023-01-28T08:12:05Z/qemu-server.conf.blob" (523 байта, сжато: 523)
Jan 28 09:16:21 pve pvedaemon[17859]: успешная авторизация пользователя 'root@pam'
Jan 28 09:17:18 pve pveproxy[17869]: worker завершился
Jan 28 09:17:18 pve pveproxy[17867]: worker 17869 завершён
Jan 28 09:17:18 pve pveproxy[17867]: запускается 1 worker
Jan 28 09:17:18 pve pveproxy[17867]: worker 421250 запущен
Jan 28 09:17:25 pve proxmox-backup-proxy[236444]: GET /favicon.ico: 400 Bad Request: [client [::ffff:192.168.1.252]:39568] Проблемы с доступом к файлу: Нет такого файла или каталога (основная ошибка 2)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Статистика загрузки для 'drive-tpmstate0-backup.img.fidx'
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: UUID: bed72f28ea084c6c96eb8ed07fa37b0d
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Контрольная сумма: 7cc6dc2c9b3cb3fca04cd9f0ea3848b90683c41a5de0d9e2c86d1cef7574bfaf
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Размер: 4194304
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Кол-во чанков: 1
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Загружено: 8388608 (200%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Дубликаты: 0+1 (100%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Сжатие: 0%
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: фиксированный индекс 3 успешно закрыт
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Статистика загрузки для 'drive-scsi0.img.fidx'
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: UUID: 74ba4d4fc8cb48e4bc19f3872a0511e0
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Контрольная сумма: d9698cf46c194fbfaeee605afdffa922f86e6289c83caaf8acd4e3d4c9e6e6dc
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Размер: 171798691840
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Кол-во чанков: 40960
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Загружено: 19700645888 (11%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Дубликаты: 36263+7 (88%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Сжатие: 49%
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: фиксированный индекс 2 успешно закрыт
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Статистика загрузки для 'drive-efidisk0.img.fidx'
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: UUID: 2a77ad8ce4324c768c256db4b1abaf02
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Контрольная сумма: 04da6c1647c7eb5d2a42ca6bf1077ec4938a686925c9086cffd50aec929b585c
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Размер: 131072
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Кол-во чанков: 1
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Загружено: 4325376 (3300%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Дубликаты: 0+1 (100%)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: Сжатие: 0%
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: фиксированный индекс 1 успешно закрыт
Jan 28 09:17:39 pve QEMU[244716]: загрузка манифеста
Jan 28 09:17:39 pve QEMU[244716]: завершение бэкапа
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: синхронизация файловой системы
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: добавляю blob "/mnt/unsecured/backup/pbs/vm/102/2023-01-28T08:12:05Z/index.json.blob" (556 байт, сжато: 556)
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: вызов завершения бэкапа
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: обновление манифеста со статистикой
Jan 28 09:17:39 pve proxmox-backup-proxy[236444]: обеспечивается уровень синхронизации

Надеюсь, это поможет. С радостью помогу с последующими тестами!
28.01.2023 09:27:00, Kadrim.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 16 Jan 2023 14:59:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
http://download.proxmox.com/temp/proxmox-backup-test-forum-119854/
Код: 3660214df2252b6bef92460af26798ac152e6828955b117e835bb19c81f70b354f37ca8411cdd2194efb972d8832f32832a0ac38145e6e02d44df97aa4cbc2ed
libproxmox-backup-qemu0_1.3.2-2~test1_amd64.deb
cb999fd95c9cf5aea03ba193846924d1559b176b28c6d1ce987584be935c4c9afdf29997d7a6b7ff9e5231e8c6e36994f4f348dcdcd82fdf7a30721e5e51be68
proxmox-backup-server_2.3.2-2~test1_amd64.deb

Чтобы применить изменения в libproxmox-backup-qemu0 (как для теста, так и если захотите вернуть стандартную версию), нужно обязательно перезагрузить виртуальную машину. Проверьте, что всё сработало, командой:
qm status XXX --verbose | grep library-version
Пример:
qm status 104 --verbose | grep library-version
pbs-library-version: 1.3.2 (c36706bf661c2a37f92b999dacaf63f4babd075f)

Патченные пакеты добавят такие строки в логи:
PVE — строки, выделенные жирным, записываются непосредственно процессом ВМ (QEMU). Они не попадают в лог задачи vzdump, но видны в журнале.
PBS — содержатся и в журнале задачи, и в системном журнале.

Если нужно вернуть стандартные версии пакетов, используйте:
apt install --reinstall proxmox-backup-server=2.3.2-1 libproxmox-backup-qemu0=1.3.1-1
(Если в репозиториях появятся новые версии, подставьте актуальные номера.)
16.01.2023 14:59:00, fabian.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Mon, 16 Jan 2023 08:51:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Извини, у меня появились другие дела. Сегодня позже выложу ссылку!
16.01.2023 08:51:00, fabian.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Sun, 15 Jan 2023 09:35:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
@fabian, есть новости по поводу исправленной/подробной версии pbs?
15.01.2023 09:35:00, Kadrim.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Thu, 05 Jan 2023 12:30:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Какой тип хранилища/диска/контроллера это?
05.01.2023 12:30:00, RolandK.

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования

Wed, 21 Dec 2022 18:24:00 +0300

Proxmox-Backup-Server 2.3.1-1 завис после резервного копирования Proxmox Backup Server в форуме Proxmox Backup Server.
Привет! Я уже довольно давно пользуюсь PBS, но после недавнего обновления до версии 2.3.x возникла проблема: на некоторых ВМ резервное копирование зависает на отметке 100% с сообщением «waiting for server to finish backup validation». Опция «Verify new backups immediately after completion» у меня *не* включена, так что ждать вроде бы нет смысла. Но в версии 2.3.1-1 резервное копирование висит именно там примерно (а может и ровно) 24 часа. В системном логе нет ничего, что относится к этой проблеме, машины (PVE и PBS) практически бездействуют и не показывают iowait.

Я начал копать глубже: пересоздал новые хранилища PBS, удалил вообще все бэкапы ВМ – но поведение всегда одинаковое. Возможно, причина в этом файле: https://github.com/proxmox/qemu-server/blob/master/PVE/VZDump/QemuServer.pm или как минимум связана с этой проблемой. Вероятно, вызов «mon_cmd($vmid, 'query-backup');» как-то зависает.

Я откатился до версии PBS 2.2.8-1, и проблема исчезла.

С уважением!
21.12.2022 18:24:00, Kadrim.