Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Backup Server
    storj для хранилища s3

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    storj для хранилища s3, Proxmox Backup Server
     
    daschmidt
    Guest
    #1
    0
    22.08.2025 11:49:00
    Доброе утро! Кто-нибудь успешно интегрировал Storj как S3? Права доступа должны быть правильными, у меня rclone настроился успешно с теми же учетными данными. При настройке хранилища выдает такую ошибку: не удалось получить доступ к бакету — бакет не существует или нет прав на доступ (400). Код: s3-endpoint: storj  
           access-key xxxxxx  
           endpoint gateway.eu1.storjshare.io  
           secret-key xxxxxx  
    Пробовал также gateway.storjshare.io.
     
     
     
    igort
    Guest
    #2
    0
    04.12.2025 11:17:00
    Привет! Я подключил PBS версии 4.0.20 к хранилищу Storj без проблем, но после обновления до 4.1.0 и перезагрузки сервера всё перестало работать — пишет «Datastore is not available». Что можно попробовать? Спасибо.
     
     
     
    Chris
    Guest
    #3
    0
    04.12.2025 11:23:00
    Проверьте, правильно ли смонтирован путь к локальному кэшу datastore, например, в выводе команды mount. Кроме того, вы можете проверить доступность s3-эндпоинта с помощью команды proxmox-backup-manager s3 check <endpoint-id> <bucket-name>.
     
     
     
    igort
    Guest
    #4
    0
    04.12.2025 11:45:00
    Понимаю суть. Очевидно, что было плохой идеей назначать /tmp в качестве локального кэша. Перезагрузка, наверное, удалили каталог /tmp/.chunks. lookup_datastore не удался — невозможно открыть хранилище чанк-файлов по пути "/tmp/.chunks" — такого файла или каталога нет (ошибка системы 2). Решение — создать папку /tmp/.chunks или как изменить путь локального кэша для уже существующего S3-хранилища?
     
     
     
    Chris
    Guest
    #5
    0
    04.12.2025 11:51:00
    Я бы порекомендовал просто удалить datatore, не удаляя содержимое, а затем воссоздать его с тем же именем и endpoint (с установленными флагами reuse datastore и overwrite in-use marker), но с постоянным локальным кэшем. Кроме того, имеет смысл настроить кэш на отдельном разделе или с квотой, подробнее см. https://pbs.proxmox.com/docs/storage.html#datastores-with-s3-backend
     
     
     
    hb9hil
    Guest
    #6
    0
    12.04.2026 15:39:00
    Всем привет! Я пытался использовать Storj в качестве S3-бэкенда для PBS 4.1.6 и столкнулся с несколькими проблемами, которые вместе делают его фактически непригодным для меня на данный момент. Хочу собрать всю картину в одном месте на случай, если кто-то увидит похожие вещи, и получить обратную связь от команды.  

    Настройка  
    PBS 4.1.6 с S3-хранилищем в качестве бэкенда (другие S3-бэкенды, вроде Hetzner или Backblaze, работают, но для PBS не очень надежны)  
    Пробовал с размещённым Storj gateway (gateway.eu1.storjshare.io, path-style, регион eu1, параметр skip-if-none-match-header)  
    Также запускал локальный self-hosted Storj gateway (gateway-st) за nginx с TLS-терминацией, так как PBS требует HTTPS, а сам gateway работает только по HTTP  
    Все остальные S3-клиенты, которые я тестировал с этими же точками доступа (mc, aws cli, rclone, curl с SigV4), работают без проблем.  

    Проблема 1 — размещённый Storj gateway: удаление snapshot всегда завершается неудачей с 502  
    Запись и проверка бэкапов проходят отлично. А вот удаление snapshot через веб-интерфейс или через proxmox-backup-manager snapshot forget каждый раз заканчивается ошибкой:  
    Код: failed to delete snapshot - "unexpected status code 502 Bad Gateway" (400)  
    В логах прокси видно "сырый" HTML:  
    Код: proxmox-backup-proxy[xxxxx]: <html><body><h1>502 Bad Gateway</h1> Сервер вернул неверный или неполный ответ. </body></html>
    Это не единичный случай — ошибка возникает при каждой попытке удаления. Повторные попытки не помогают.  

    Проблема 2 — размещённый Storj gateway: verify иногда падает из-за отсутствия etag  
    При проверках иногда появляется:  
    Код: can't verify chunk, load failed - missing header 'etag'  
    TASK ERROR: verification failed - please check the log for details  
    Это не происходит с каждым чанком, но достаточно для сбоев verify jobs.  

    Проблема 3 — локальный gateway-st за nginx: verify массово падает  
    Чтобы обойти проблемы с размещённым gateway, я поднял локальный Storj gateway и сделал nginx как TLS-терминатор.  
    Запись бэкапов работает, и verify раньше проходил успешно, когда бэкап только что записан и сразу проверяется через локальный gateway.  
    Но последующие проверки падают на тысячах чанков:  
    Код: verified 24.72/116.00 MiB in 29.15 seconds, speed 0.85/3.98 MiB/s (2531 errors) verify ... failed: chunks could not be verified  
    Логи самого gateway при каждом сбое GET показывают:  
    Код: Error: Unable to write all the data to client uplink: eestream: unexpected error: eestream: read completed buffer  

    Я потратил много времени на поиск причины:  
    — Прямое скачивание тех же чанков через mc с gateway (127.0.0.1:7777) всегда работает, включая рекурсивные параллельные загрузки  
    — Через mc через nginx тоже работает, как одиночные, так и параллельные запросы  
    — Одиночный curl range-запрос с SigV4 через nginx тоже работает (возвращается 206, верный Content-Range)  
    — Только verify в PBS стабильно вызывает ошибку eestream в gateway  

    Получается, что gateway явно реагирует на паттерн доступа PBS иначе, чем на другие S3-клиенты. Но это проявляется только в связке с PBS.  

    Текущее состояние  
    — Бэкапы успешно записываются в Storj через размещённый gateway  
    — Verify частично работает на размещённом gateway, почти полностью не работает на локальном  
    — Удаление вообще не работает на размещённом gateway  
    — Prune и GC я даже толком не тестировал из-за вышеперечисленных проблем  

    Для меня это значит, что Storj как S3-бэкенд сейчас непригоден — я могу положить данные, но не могу их надежно проверить и удалить.  

    Вопросы  
    — Есть ли у кого-нибудь успешный опыт работы PBS с Storj, где удаление/prune/GC работают полностью?  
    — Было бы разумно, чтобы S3-клиент в PBS повторял попытки при временных ошибках 5xx от сервера? Сейчас один 502 сразу прерывает удаление snapshot.  
    — Можно ли как-то более лояльно относиться к отсутствию заголовка etag при verify, или это надо строго контролировать?  
    — Есть ли у команды советы, куда копать дальше, или это явно баг, который стоит оформить, учитывая, что другие инструменты вроде mc и aws с обоими gateway работают нормально?  

    Готов предоставить логи, дампы трафика, провести целевые тесты.  
    Понимаю, что S3-бэкенд всё ещё в техническом превью, так что это скорее конструктивный отзыв, а не жалоба.  

    Спасибо и всем привет из Швейцарии!
     
     
     
    hb9hil
    Guest
    #7
    0
    12.04.2026 16:50:00
    ИЗМЕНЕНИЕ: После того как я копнул всё глубже и глубже, я немного запутался и забыл про принцип «быстро терпеть неудачу». Поэтому я сделал шаг назад и поискал альтернативу, и выяснилось, что rclone напрямую общается с Storj через библиотеку uplink. Никаких хостинг-шлюзов, никаких собственных шлюзов, никаких nginx впереди. Настройка — просто до смущения:

    Код:  
    rclone config create storj storj \  
       provider=existing \  
       access_grant="YOUR_ACCESS_GRANT"

    Код:  
    rclone serve s3 storj: \  
       --addr 127.0.0.1:7443 \  
       --cert /path/to/fullchain.pem \  
       --key /path/to/privkey.pem \  
       --auth-key "myaccess,mysecret" \  
       --etag-hash MD5

    Настраиваем PBS на использование этого как обычного S3-эндпоинта — и всё готово. rclone сам управляет TLS, подписывает и проверяет SigV4, и напрямую общается через uplink с сателлитом Storj и узлами хранения.

    Результат на данный момент:  
    - Запись работает  
    - Проверка работает (больше нет пропущенных etag)  
    - Удаление работает (именно это и было причиной моего погружения в эту историю)  
    - Prune + GC проходят без проблем

    В принципе, все три проблемы, о которых я говорил выше, исчезли разом, потому что весь слой Storj gateway (и облачный, и собственный) теперь не участвует в процессе. Единственный код Storj, который работает — это библиотека uplink, встроенная в rclone и поддерживаемая разработчиками.

    Но есть нюанс: шифрование и кодирование с устранением ошибок теперь происходят локально на хосте PBS, а не на стороне Storj. По моему железу с этим проблем нет, но стоит упомянуть, если у кого-то очень слабая машина.

    Оставляю это здесь на случай, если кто-то столкнётся с такой же проблемой. Для меня теперь это основная конфигурация — само Storj — отличное и очень быстрое хранилище, а вот именно слой gateway в PBS был реальной проблемой.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры