<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
	<channel>
		<title>Аспро: ЛайтШоп [тема: storj для хранилища s3]</title>
		<link>http://proxmox.su</link>
		<description>Новое в теме storj для хранилища s3 форума Proxmox Backup Server на сайте Аспро: ЛайтШоп [proxmox.su]</description>
		<language>ru</language>
		<docs>http://backend.userland.com/rss2</docs>
		<pubDate>Fri, 20 Nov 2026 14:22:11 +0300</pubDate>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446555/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			ИЗМЕНЕНИЕ: После того как я копнул всё глубже и глубже, я немного запутался и забыл про принцип «быстро терпеть неудачу». Поэтому я сделал шаг назад и поискал альтернативу, и выяснилось, что rclone напрямую общается с Storj через библиотеку uplink. Никаких хостинг-шлюзов, никаких собственных шлюзов, никаких nginx впереди. Настройка — просто до смущения:<br /><br />Код: &nbsp;<br />rclone config create storj storj \ &nbsp;<br /> &nbsp; &nbsp;provider=existing \ &nbsp;<br /> &nbsp; &nbsp;access_grant="YOUR_ACCESS_GRANT"<br /><br />Код: &nbsp;<br />rclone serve s3 storj: \ &nbsp;<br /> &nbsp; &nbsp;--addr 127.0.0.1:7443 \ &nbsp;<br /> &nbsp; &nbsp;--cert /path/to/fullchain.pem \ &nbsp;<br /> &nbsp; &nbsp;--key /path/to/privkey.pem \ &nbsp;<br /> &nbsp; &nbsp;--auth-key "myaccess,mysecret" \ &nbsp;<br /> &nbsp; &nbsp;--etag-hash MD5<br /><br />Настраиваем PBS на использование этого как обычного S3-эндпоинта — и всё готово. rclone сам управляет TLS, подписывает и проверяет SigV4, и напрямую общается через uplink с сателлитом Storj и узлами хранения.<br /><br />Результат на данный момент: &nbsp;<br />- Запись работает &nbsp;<br />- Проверка работает (больше нет пропущенных etag) &nbsp;<br />- Удаление работает (именно это и было причиной моего погружения в эту историю) &nbsp;<br />- Prune + GC проходят без проблем<br /><br />В принципе, все три проблемы, о которых я говорил выше, исчезли разом, потому что весь слой Storj gateway (и облачный, и собственный) теперь не участвует в процессе. Единственный код Storj, который работает — это библиотека uplink, встроенная в rclone и поддерживаемая разработчиками.<br /><br />Но есть нюанс: шифрование и кодирование с устранением ошибок теперь происходят локально на хосте PBS, а не на стороне Storj. По моему железу с этим проблем нет, но стоит упомянуть, если у кого-то очень слабая машина.<br /><br />Оставляю это здесь на случай, если кто-то столкнётся с такой же проблемой. Для меня теперь это основная конфигурация — само Storj — отличное и очень быстрое хранилище, а вот именно слой gateway в PBS был реальной проблемой. <br />
			<i>12.04.2026 16:50:00, hb9hil.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446555/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446555/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Sun, 12 Apr 2026 16:50:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446554/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Всем привет! Я пытался использовать Storj в качестве S3-бэкенда для PBS 4.1.6 и столкнулся с несколькими проблемами, которые вместе делают его фактически непригодным для меня на данный момент. Хочу собрать всю картину в одном месте на случай, если кто-то увидит похожие вещи, и получить обратную связь от команды. &nbsp;<br /><br />Настройка &nbsp;<br />PBS 4.1.6 с S3-хранилищем в качестве бэкенда (другие S3-бэкенды, вроде Hetzner или Backblaze, работают, но для PBS не очень надежны) &nbsp;<br />Пробовал с размещённым Storj gateway (gateway.eu1.storjshare.io, path-style, регион eu1, параметр skip-if-none-match-header) &nbsp;<br />Также запускал локальный self-hosted Storj gateway (gateway-st) за nginx с TLS-терминацией, так как PBS требует HTTPS, а сам gateway работает только по HTTP &nbsp;<br />Все остальные S3-клиенты, которые я тестировал с этими же точками доступа (mc, aws cli, rclone, curl с SigV4), работают без проблем. &nbsp;<br /><br />Проблема 1 — размещённый Storj gateway: удаление snapshot всегда завершается неудачей с 502 &nbsp;<br />Запись и проверка бэкапов проходят отлично. А вот удаление snapshot через веб-интерфейс или через proxmox-backup-manager snapshot forget каждый раз заканчивается ошибкой: &nbsp;<br />Код: failed to delete snapshot - "unexpected status code 502 Bad Gateway" (400) &nbsp;<br />В логах прокси видно "сырый" HTML: &nbsp;<br />Код: proxmox-backup-proxy[xxxxx]: &lt;html&gt;&lt;body&gt;&lt;h1&gt;502 Bad Gateway&lt;/h1&gt; Сервер вернул неверный или неполный ответ. &lt;/body&gt;&lt;/html&gt;  <br />Это не единичный случай — ошибка возникает при каждой попытке удаления. Повторные попытки не помогают. &nbsp;<br /><br />Проблема 2 — размещённый Storj gateway: verify иногда падает из-за отсутствия etag &nbsp;<br />При проверках иногда появляется: &nbsp;<br />Код: can't verify chunk, load failed - missing header 'etag' &nbsp;<br />TASK ERROR: verification failed - please check the log for details &nbsp;<br />Это не происходит с каждым чанком, но достаточно для сбоев verify jobs. &nbsp;<br /><br />Проблема 3 — локальный gateway-st за nginx: verify массово падает &nbsp;<br />Чтобы обойти проблемы с размещённым gateway, я поднял локальный Storj gateway и сделал nginx как TLS-терминатор. &nbsp;<br />Запись бэкапов работает, и verify раньше проходил успешно, когда бэкап только что записан и сразу проверяется через локальный gateway. &nbsp;<br />Но последующие проверки падают на тысячах чанков: &nbsp;<br />Код: verified 24.72/116.00 MiB in 29.15 seconds, speed 0.85/3.98 MiB/s (2531 errors) verify ... failed: chunks could not be verified &nbsp;<br />Логи самого gateway при каждом сбое GET показывают: &nbsp;<br />Код: Error: Unable to write all the data to client uplink: eestream: unexpected error: eestream: read completed buffer &nbsp;<br /><br />Я потратил много времени на поиск причины: &nbsp;<br />— Прямое скачивание тех же чанков через mc с gateway (127.0.0.1:7777) всегда работает, включая рекурсивные параллельные загрузки &nbsp;<br />— Через mc через nginx тоже работает, как одиночные, так и параллельные запросы &nbsp;<br />— Одиночный curl range-запрос с SigV4 через nginx тоже работает (возвращается 206, верный Content-Range) &nbsp;<br />— Только verify в PBS стабильно вызывает ошибку eestream в gateway &nbsp;<br /><br />Получается, что gateway явно реагирует на паттерн доступа PBS иначе, чем на другие S3-клиенты. Но это проявляется только в связке с PBS. &nbsp;<br /><br />Текущее состояние &nbsp;<br />— Бэкапы успешно записываются в Storj через размещённый gateway &nbsp;<br />— Verify частично работает на размещённом gateway, почти полностью не работает на локальном &nbsp;<br />— Удаление вообще не работает на размещённом gateway &nbsp;<br />— Prune и GC я даже толком не тестировал из-за вышеперечисленных проблем &nbsp;<br /><br />Для меня это значит, что Storj как S3-бэкенд сейчас непригоден — я могу положить данные, но не могу их надежно проверить и удалить. &nbsp;<br /><br />Вопросы &nbsp;<br />— Есть ли у кого-нибудь успешный опыт работы PBS с Storj, где удаление/prune/GC работают полностью? &nbsp;<br />— Было бы разумно, чтобы S3-клиент в PBS повторял попытки при временных ошибках 5xx от сервера? Сейчас один 502 сразу прерывает удаление snapshot. &nbsp;<br />— Можно ли как-то более лояльно относиться к отсутствию заголовка etag при verify, или это надо строго контролировать? &nbsp;<br />— Есть ли у команды советы, куда копать дальше, или это явно баг, который стоит оформить, учитывая, что другие инструменты вроде mc и aws с обоими gateway работают нормально? &nbsp;<br /><br />Готов предоставить логи, дампы трафика, провести целевые тесты. &nbsp;<br />Понимаю, что S3-бэкенд всё ещё в техническом превью, так что это скорее конструктивный отзыв, а не жалоба. &nbsp;<br /><br />Спасибо и всем привет из Швейцарии! <br />
			<i>12.04.2026 15:39:00, hb9hil.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446554/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446554/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Sun, 12 Apr 2026 15:39:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446553/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Я бы порекомендовал просто удалить datatore, не удаляя содержимое, а затем воссоздать его с тем же именем и endpoint (с установленными флагами reuse datastore и overwrite in-use marker), но с постоянным локальным кэшем. Кроме того, имеет смысл настроить кэш на отдельном разделе или с квотой, подробнее см. <noindex><a href="https://pbs.proxmox.com/docs/storage.html#datastores-with-s3-backend" target="_blank" rel="nofollow" >https://pbs.proxmox.com/docs/storage.html#datastores-with-s3-backend</a></noindex> <br />
			<i>04.12.2025 11:51:00, Chris.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446553/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446553/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Thu, 04 Dec 2025 11:51:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446552/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Понимаю суть. Очевидно, что было плохой идеей назначать /tmp в качестве локального кэша. Перезагрузка, наверное, удалили каталог /tmp/.chunks. lookup_datastore не удался — невозможно открыть хранилище чанк-файлов по пути "/tmp/.chunks" — такого файла или каталога нет (ошибка системы 2). Решение — создать папку /tmp/.chunks или как изменить путь локального кэша для уже существующего S3-хранилища? <br />
			<i>04.12.2025 11:45:00, igort.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446552/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446552/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Thu, 04 Dec 2025 11:45:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446551/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Проверьте, правильно ли смонтирован путь к локальному кэшу datastore, например, в выводе команды mount. Кроме того, вы можете проверить доступность s3-эндпоинта с помощью команды proxmox-backup-manager s3 check &lt;endpoint-id&gt; &lt;bucket-name&gt;. <br />
			<i>04.12.2025 11:23:00, Chris.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446551/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446551/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Thu, 04 Dec 2025 11:23:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446550/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Привет! Я подключил PBS версии 4.0.20 к хранилищу Storj без проблем, но после обновления до 4.1.0 и перезагрузки сервера всё перестало работать — пишет «Datastore is not available». Что можно попробовать? Спасибо. <br />
			<i>04.12.2025 11:17:00, igort.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446550/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446550/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Thu, 04 Dec 2025 11:17:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
		<item>
			<title>storj для хранилища s3</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum64/message446549/91028-storj-dlya-khranilishcha-s3">storj для хранилища s3</a></b> <i>Proxmox Backup Server</i> в форуме <a href="http://proxmox.su/forum/forum64/">Proxmox Backup Server</a>. <br />
			Доброе утро! Кто-нибудь успешно интегрировал Storj как S3? Права доступа должны быть правильными, у меня rclone настроился успешно с теми же учетными данными. При настройке хранилища выдает такую ошибку: не удалось получить доступ к бакету — бакет не существует или нет прав на доступ (400). Код: s3-endpoint: storj &nbsp;<br /> &nbsp; &nbsp; &nbsp; &nbsp;access-key xxxxxx &nbsp;<br /> &nbsp; &nbsp; &nbsp; &nbsp;endpoint gateway.eu1.storjshare.io &nbsp;<br /> &nbsp; &nbsp; &nbsp; &nbsp;secret-key xxxxxx &nbsp;<br />Пробовал также gateway.storjshare.io. <br />
			<i>22.08.2025 11:49:00, daschmidt.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum64/message446549/91028-storj-dlya-khranilishcha-s3</link>
			<guid>http://proxmox.su/forum/messages/forum64/message446549/91028-storj-dlya-khranilishcha-s3</guid>
			<pubDate>Fri, 22 Aug 2025 11:49:00 +0300</pubDate>
			<category>Proxmox Backup Server</category>
		</item>
	</channel>
</rss>
