+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] ошибка при получении хранилищ данных - 500 после обновления до версии 2.2, Proxmox Backup Server

rlljorge

Guest

14.06.2022 14:45:00

Привет! Мой планировщик периодически вылетает с ошибкой, я получаю случайные ошибки на разных узлах: TASK ERROR: не удалось активировать хранилище 'pbs02': pbs02: ошибка при получении данных из хранилищ — 500 Can't connect to 10.250.5.84:8007. Pbs02 подключён на всех узлах кластера, и я могу видеть файлы и информацию. Если я запускаю планировщик или отдельное резервное копирование вручную, то всё работает успешно. У меня настроен и протестирован jumbo frame на всех узлах Proxmox и на сервере pbs. Я приложил лог-файлы с ошибкой планировщика в 12:30 и успешным ручным запуском в 12:34 для той же виртуальной машины. С уважением, Rodrigo L L Jorge

pmbaeum

Guest

29.06.2022 11:59:00

Привет, такая же проблема у меня. Syslog на моих PVE-хостах забит сообщениями об ошибке 500. Сейчас примерно 50-60% успешных бэкапов. PBS и PVE связаны через сеть 192.168.40.0/24, подключены напрямую 10G картами и 10G свитчем.

Код из syslog PVE1:
Jun 29 11:01:07 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:01:14 pve1 pvestatd[1441]: PBS2TB: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:01:14 pve1 pvestatd[1441]: время обновления статуса (14.226 секунд)
Jun 29 11:01:20 pve1 pvestatd[1441]: время обновления статуса (5.411 секунд)
Jun 29 11:02:11 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:02:18 pve1 pvestatd[1441]: PBS2TB: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:02:18 pve1 pvestatd[1441]: время обновления статуса (14.201 секунд)
Jun 29 11:03:15 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:03:20 pve1 pvestatd[1441]: время обновления статуса (11.391 секунд)
Jun 29 11:04:07 pve1 pvestatd[1441]: PBS2TB: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:04:14 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:04:14 pve1 pvestatd[1441]: время обновления статуса (14.212 секунд)
Jun 29 11:04:20 pve1 pvestatd[1441]: время обновления статуса (5.727 секунд)
Jun 29 11:05:11 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:05:18 pve1 pvestatd[1441]: PBS2TB: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:05:18 pve1 pvestatd[1441]: время обновления статуса (14.230 секунд)
Jun 29 11:06:15 pve1 pvestatd[1441]: PBS01: ошибка при получении datastores - 500 Can't connect to 192.168.40.5:8007
Jun 29 11:06:20 pve1 pvestatd[1441]: время обновления статуса (11.359 секунд)

Конфигурация /etc/network/interfaces на PVE1:

# network interface settings; autogenerated
# Пожалуйста, НЕ редактируйте этот файл напрямую, если не понимаете, что делаете.
# Если хотите вручную управлять частями настройки сети, используйте директивы 'source' или 'source-directory'.
# PVE сохранит эти директивы, но НЕ будет читать конфигурацию из подключённых файлов, так что не старайтесь переносить управляемые PVE интерфейсы во внешние файлы!

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual
# 10G Backend

auto vmbr0
iface vmbr0 inet static
address 192.168.0.28/23
gateway 192.168.0.1
bridge-ports eno1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

auto vmbr1
iface vmbr1 inet manual
bridge-ports eno2
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

auto vmbr2
iface vmbr2 inet static
address 192.168.40.10/24
bridge-ports enp1s0f1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

Конфигурация /etc/network/interfaces на PBS01:

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet static
address 192.168.0.21/23
gateway 192.168.0.1

iface enp1s0f1 inet manual

auto enp2s0f0
iface enp2s0f0 inet static
address 192.168.40.5/24
# Backup Network | 10G

iface enp2s0f1 inet manual

iface ens1f0 inet manual

iface ens1f1 inet manual

Код из syslog PBS01:

Jun 29 11:00:10 pbs01 proxmox-backup-proxy[3509]: удаление backup snapshot "/mnt/datastore/storage2tb/vm/100/2022-06-28T11:09:47Z"
Jun 29 11:00:10 pbs01 proxmox-backup-proxy[3509]: удаление backup snapshot "/mnt/datastore/storage2tb/vm/114/2022-06-28T11:09:48Z"
Jun 29 11:07:37 pbs01 proxmox-backup-proxy[3509]: запуск нового бэкапа на datastore 'storage2tb': "vm/100/2022-06-29T09:07:34Z"
Jun 29 11:07:37 pbs01 proxmox-backup-proxy[3509]: скачивание 'index.json.blob' из предыдущего бэкапа.
Jun 29 11:07:38 pbs01 proxmox-backup-proxy[3509]: регистрация чанков в 'drive-scsi0.img.fidx' из предыдущего бэкапа.
Jun 29 11:07:38 pbs01 proxmox-backup-proxy[3509]: скачивание 'drive-scsi0.img.fidx' из предыдущего бэкапа.
Jun 29 11:07:38 pbs01 proxmox-backup-proxy[3509]: запуск нового бэкапа на datastore 'storage2tb': "vm/114/2022-06-29T09:07:34Z"
Jun 29 11:07:38 pbs01 proxmox-backup-proxy[3509]: создан новый фиксированный индекс 1 ("vm/100/2022-06-29T09:07:34Z/drive-scsi0.img.fidx")

ProxmoxFan Guest	#3 0 29.06.2022 16:23:00 Привет, dcsapak! Не знаю, замечал ли ты уже, но у нескольких из нас похожая проблема. Может, ты сможешь попросить разработчиков разобраться с этим получше? Спасибо!

dcsapak

Guest

29.06.2022 16:29:00

Привет, да, конечно, мы активно пытаемся найти причину проблемы. К сожалению, пока не удалось воспроизвести её у нас на разных конфигурациях… Может, если ты расскажешь побольше о своей системе (процессор, память, сетевая карта, сеть и так далее), мы сможем найти какую-то общую закономерность.

ProxmoxFan

Guest

29.06.2022 16:40:00

Без проблем. Управляю кластером с высокой доступностью из трёх узлов на Proxmox 6.4, подключённым к серверу PBS версии 1.x (точно не помню, какая именно). PBS работает как виртуальная машина на одном из узлов. Всё работало без сбоев больше года, пока я не обновил PBS до новой версии 2.2-3. Как только PBS обновился, плановые задания резервного копирования стали сбоить с ошибкой 500. Хранилище данных живое и работает, к нему можно получить полный доступ через командную строку и GUI. Ошибка появляется только у cron-задач. Сейчас я только что обновил все узлы кластера Proxmox до версии 7.2-4. Жду, посмотрю, поможет ли это что-то исправить. Сообщу, если что.

pmbaeum

Guest

29.06.2022 16:49:00

Привет, мой системный отчёт: https://pastebin.com/dz1Ds4gY

Железо на PBS:
CPU: 2x Intel Xeon E5-2620V3 SR207 6-ядерный серверный процессор, 6× 2,40 ГГц, 15 МБ кэш, 2011-3
Память: 64 ГБ Registered ECC DDR4 SDRAM (8× 8 ГБ DIMM)
Сетевой контроллер: Intel Ethernet Controller 10-Gigabit X540-AT2

Основной системный отчёт PVE: https://pastebin.com/Z60JgPxR
Железо:
CPU: 1X Intel® Xeon® CPU E3-1230 v6 @ 3.50GHz
Память: 64 ГБ Registered ECC DDR4 SDRAM (4×16 ГБ DIMM)
Сетевой контроллер: Dell Broadcom 57810 2× 10GbE RJ-45 Dual Port (NetXtreme II BCM57810)

ProxmoxFan

Guest

29.06.2022 17:45:00

Нет — обновление Proxmox до версии 7.2-4 не помогло. Похоже, проблема в каких-то изменениях в PBS... Может, теперь нужно сначала выполнить команду активации хранилища? Что-то, что изменилось по сравнению с версией 1?

mira

Guest

29.06.2022 18:20:00

Некоторые из наших зависимостей были обновлены (например, tokio), так что проблема может быть связана с этим. Но без воспроизводимого примера у нас дома, где мы могли бы свободно тестировать и воспроизводить проблему, сложно найти её настоящую причину. Как отметил мой коллега, нам пока не удалось воспроизвести это у себя на нескольких конфигурациях, включая приватные настройки некоторых из нас.

ProxmoxFan Guest	#9 0 29.06.2022 19:01:00 Привет, Mira! Понимаю, что сложно искать причину, когда проблема проявляется непостоянно. Продолжая разбираться сам, я, кажется, кое-что понял. Может, дело в синтаксисе, который используется в cron? С самого начала (больше года назад) в моём cron-файле было вот что: PATH="/usr/sbin:/usr/bin:/sbin:/bin" 5 /4 * * root vzdump 100 102 103 104 106 --mailnotification failure --storage BuffaloNAS --mailto me@myemail.com --mode snapshot --quiet 1 10 /24 * * root vzdump 105 --mailnotification failure --storage BuffaloNAS --mailto me@myemail.com --mode snapshot --quiet 1 Это работало идеально. Но я задумываюсь, не стал ли обновлённый PBS более придирчивым к командам и не стоит ли использовать proxmox-backup-client вместо vzdump? Что-то вроде того, что упоминали в другой теме на этом сайте: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Я создал /root/pbs.sh вот так: #!/bin/bash PBS_PASSWORD='mypassword' PBS_FINGERPRINT='10:d3:7f:79:7e:e и так далее мой отпечаток' export PBS_PASSWORD export PBS_FINGERPRINT proxmox-backup-client login --repository root@pam@192.168.0.46:sauvegardes proxmox-backup-client backup root.pxar:/ --repository root@pam@192.168.0.46:sauvegardes && proxmox-backup-client prune host/se4fs --repository root@pam@192.168.0.46:sauvegardes --keep-daily 14 pbs.sh запускается отлично, а потом я добавляю файл sauvhome в cron.d с таким содержимым: 0 3 * * tue,wed,thu,fri,sat root /root/pbs.sh ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Можно ли сделать полный образ виртуальной машины, как vzdump, но используя команду proxmox-backup-client? И сможете ли вы подсказать, что именно мне вписать в cron-файл? (или в .sh файл, если следовать примеру выше) Спасибо, John

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры