Всем привет! Я пытался использовать Storj в качестве S3-бэкенда для PBS 4.1.6 и столкнулся с несколькими проблемами, которые вместе делают его фактически непригодным для меня на данный момент. Хочу собрать всю картину в одном месте на случай, если кто-то увидит похожие вещи, и получить обратную связь от команды.
Настройка
PBS 4.1.6 с S3-хранилищем в качестве бэкенда (другие S3-бэкенды, вроде Hetzner или Backblaze, работают, но для PBS не очень надежны)
Пробовал с размещённым Storj gateway (gateway.eu1.storjshare.io, path-style, регион eu1, параметр skip-if-none-match-header)
Также запускал локальный self-hosted Storj gateway (gateway-st) за nginx с TLS-терминацией, так как PBS требует HTTPS, а сам gateway работает только по HTTP
Все остальные S3-клиенты, которые я тестировал с этими же точками доступа (mc, aws cli, rclone, curl с SigV4), работают без проблем.
Проблема 1 — размещённый Storj gateway: удаление snapshot всегда завершается неудачей с 502
Запись и проверка бэкапов проходят отлично. А вот удаление snapshot через веб-интерфейс или через proxmox-backup-manager snapshot forget каждый раз заканчивается ошибкой:
Код: failed to delete snapshot - "unexpected status code 502 Bad Gateway" (400)
В логах прокси видно "сырый" HTML:
Код: proxmox-backup-proxy[xxxxx]: <html><body><h1>502 Bad Gateway</h1> Сервер вернул неверный или неполный ответ. </body></html>
Это не единичный случай — ошибка возникает при каждой попытке удаления. Повторные попытки не помогают.
Проблема 2 — размещённый Storj gateway: verify иногда падает из-за отсутствия etag
При проверках иногда появляется:
Код: can't verify chunk, load failed - missing header 'etag'
TASK ERROR: verification failed - please check the log for details
Это не происходит с каждым чанком, но достаточно для сбоев verify jobs.
Проблема 3 — локальный gateway-st за nginx: verify массово падает
Чтобы обойти проблемы с размещённым gateway, я поднял локальный Storj gateway и сделал nginx как TLS-терминатор.
Запись бэкапов работает, и verify раньше проходил успешно, когда бэкап только что записан и сразу проверяется через локальный gateway.
Но последующие проверки падают на тысячах чанков:
Код: verified 24.72/116.00 MiB in 29.15 seconds, speed 0.85/3.98 MiB/s (2531 errors) verify ... failed: chunks could not be verified
Логи самого gateway при каждом сбое GET показывают:
Код: Error: Unable to write all the data to client uplink: eestream: unexpected error: eestream: read completed buffer
Я потратил много времени на поиск причины:
— Прямое скачивание тех же чанков через mc с gateway (127.0.0.1:7777) всегда работает, включая рекурсивные параллельные загрузки
— Через mc через nginx тоже работает, как одиночные, так и параллельные запросы
— Одиночный curl range-запрос с SigV4 через nginx тоже работает (возвращается 206, верный Content-Range)
— Только verify в PBS стабильно вызывает ошибку eestream в gateway
Получается, что gateway явно реагирует на паттерн доступа PBS иначе, чем на другие S3-клиенты. Но это проявляется только в связке с PBS.
Текущее состояние
— Бэкапы успешно записываются в Storj через размещённый gateway
— Verify частично работает на размещённом gateway, почти полностью не работает на локальном
— Удаление вообще не работает на размещённом gateway
— Prune и GC я даже толком не тестировал из-за вышеперечисленных проблем
Для меня это значит, что Storj как S3-бэкенд сейчас непригоден — я могу положить данные, но не могу их надежно проверить и удалить.
Вопросы
— Есть ли у кого-нибудь успешный опыт работы PBS с Storj, где удаление/prune/GC работают полностью?
— Было бы разумно, чтобы S3-клиент в PBS повторял попытки при временных ошибках 5xx от сервера? Сейчас один 502 сразу прерывает удаление snapshot.
— Можно ли как-то более лояльно относиться к отсутствию заголовка etag при verify, или это надо строго контролировать?
— Есть ли у команды советы, куда копать дальше, или это явно баг, который стоит оформить, учитывая, что другие инструменты вроде mc и aws с обоими gateway работают нормально?
Готов предоставить логи, дампы трафика, провести целевые тесты.
Понимаю, что S3-бэкенд всё ещё в техническом превью, так что это скорее конструктивный отзыв, а не жалоба.
Спасибо и всем привет из Швейцарии!