http://proxmox.su Новое в теме PROXMOX и TRUENAS на "голом" железе. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 05 Apr 2026 22:13:50 +0300 PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не плачу за поддержку, поэтому ни в каком сценарии мне её не оказывают. Посмотрите на темы на этом форуме, куча народу делает вещи, которые не являются целевыми сценариями. Но спасибо за ваше снисходительное суждение.
30.04.2025 18:41:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302940/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302940/74652-proxmox-i-truenas-na-_golom_-zheleze. Wed, 30 Apr 2025 18:41:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, ты не живёшь в реальном мире. Потому что ты делаешь вещи, которые не поддерживаются ни ixSystems, ни Proxmox. Более того, некоторые вещи, которые ты упоминаешь, довольно чётко не рекомендуются, особенно Proxmox. Оглянись, если мне не веришь. В общем, удачи.
30.04.2025 12:52:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302939/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302939/74652-proxmox-i-truenas-na-_golom_-zheleze. Wed, 30 Apr 2025 12:52:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Потому что я живу в реальном мире, где приходится идти на компромиссы – я могу позволить себе только один мощный сервер. Так что варианты такие: установить Proxmox и поверх него сложить NAS. Это может быть TrueNAS VM (passthrough ZFS, можно контейнер для SMB/домен/подключение к сети, можно установить Cockpit нативно - хахаха, да, я это сделаю). Использовать Proxmox для моих экспериментальных ВМ. Мой Proxmox-кластер не позволяет установить TrueNAS для бэкапов и управления ZFS, и использовать его ВМ для всего, что я не могу сделать на моем Proxmox-кластере. Купить несколько GPU, потому что TrueNAS не позволяет использовать vGPU-драйверы (чтобы разделить карту на несколько функций). Пробросить Coral-устройства, потому что TrueNAS не позволяет установить и не поставляется с Coral-драйверами.

Я пытаюсь оценить разные варианты и их плюсы и минусы. Разные люди выбирают разные подходы, у тебя один путь, у других – другие. Хочу учиться на этих различиях. Спасибо за разъяснения по поводу черного списка, я хотел бы, чтобы люди говорили об этом как о критичном во всех постах на Reddit и форумах, где эта тема постоянно всплывает, все они говорят "пробрось и все будет хорошо", что часто верно, но не во многих, многих случаях. Спасибо за помощь.
29.04.2025 20:01:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302938/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302938/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 20:01:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот мой вопрос: почему этот парень пытается превратить Proxmox в NAS? Это 100% моя вина, у меня простое мышление: TrueNAS — это не виртуализационный хост, а Proxmox — не NAS. Однозначно зачеркнуть идентификаторы устройств сразу не получится, моя ошибка: что я имел в виду — прошу прощения еще раз — это назначить конкретный драйвер (vfio) для конкретного идентификатора производителя/устройства. Я не пробовал это после Proxmox 7, потому что год назад я перенес TrueNAS на отдельный сервер (из-за "нехватки" оперативной памяти), но это должно работать и с Proxmox 8. Помимо HBA, это было обязательно для меня, чем просто зачеркнуть драйвер Radeon, потому что у меня было две "карты" Radeon, одна из которых была интегрированной в процессор Ryzen. Так что я следовал примерно так: https://www.heiko-sieger.info/runni...with-vga-passthrough/#Two_graphics_processors Кстати, как только я разобрался с этим приемом, я применил его и к USB-картам, параллельным PCI-картам (да, параллельным и PCI в 2024, не спрашивайте), и последовательным картам (снова)... Я не думаю, что знаю случая, когда операционная система вдруг завладела устройством.
29.04.2025 09:51:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302937/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302937/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 09:51:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всё равно это не решает мою основную проблему. С Proxmox я до сих пор не понимаю, как сделать из него отличный NAS (сетевое хранилище). С TrueNAS я получаю отличную NAS-ОС "для индюков", которая ограничивает мою способность использовать произвольное оборудование / использовать режимы оборудования, которые они не поддерживают — например, vGPU (не passthrough, настоящая vGPU с моими собственными драйверами Nvidia). Мне не важно модифицировать хостовое ПО, за исключением необходимых драйверов. vGPU будет использоваться для машинного обучения в одном или двух VM или контейнерах максимум. Чтобы быть предельно ясным, 90% моих VM будут работать на моей существующей кластере Proxmox / Ceph на базе NUC. Эти VM никогда не будут перенесены на новый "большой сервер", независимо от того, какая ОС на нём будет установлена. Даже если я установлю Proxmox на него, я всё равно не добавлю его в существующий Proxmox кластер. Забавно, ни в одном руководстве я не видел указаний о необходимости черного списка идентификаторов устройств. Так что, возможно, моя ошибка была в том, что я установил диски в машину до того, как была установлена VM TrueNAS и порты SATA были добавлены в конфигурацию VM? Или загрузил машину после этого без чёрного списка идентификаторов устройств?
29.04.2025 07:51:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302936/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302936/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 07:51:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@alexskysilk спасибо. Проблема в том, что похоже нет удобного NAS-контейнера для Proxmox, который бы дал мне все необходимые функции / или, по крайней мере, я не могу найти достойного руководства. Cockpit работал некорректно. Документация Zamba какая-то туманная. Возможно, придётся смириться и запускать свой Debian CT и неделями методом проб и ошибок разбираться, как его настроить для подключения к домену SMB.
29.04.2025 07:07:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302935/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302935/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 07:07:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Уверяю вас, я полностью пропустил все порты HBA. Но, тем не менее, он всё равно умудрился захватить диски при одной загрузке. Несколько человек рассказывали мне, что у них такое же случалось. Возможно, я допустил ошибку, а может, это особенность HBA (порты FCIO материнской платы в режиме SATA). В любом случае, я больше не буду рисковать. Я общался с другими людьми, у которых была такая же проблема. Проблемы с rclone и rsync, похоже, не связаны с инкрементным и версионированным резервным копированием. (Если вы предлагаете мне использовать rsync для моего pbs store?)
29.04.2025 07:03:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302934/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302934/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 07:03:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Честно говоря, кроме "лайков" и "дизлайков", я не вижу у вас проблемы, которую нужно решать. Звучит так, будто у вас уже все настроено как надо — что не так с вашей текущей конфигурацией? Просто добавьте свой "большой новый узел" в кластер и забудьте об этом. Вы можете, но не стоит. Это вложенная зависимость. Многие домашние сетевики так делают, но я бы не советовал это использовать в продакшн.
29.04.2025 04:16:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message302933/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302933/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 04:16:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я запускаю TrueNAS в виртуальной машине в Proxmox. Ключевой момент: вы ДОЛЖНЫ передавать весь HBA или контроллер диска, нельзя просто передавать диски, иначе это не будет работать должным образом. Но если вы передаете весь HBA, то Proxmox не сможет заявлять диск, потому что он изначально его не увидит. У меня есть адаптер на базе ASMedia 1166, который я передаю в TrueNAS, и TrueNAS ведет себя так, как будто он работает на bare metal. Он видит smart-данные и т.д. для шести дисков, подключенных к карте. Я пытался запускать TrueNAS scale на bare metal, и возможности виртуализации и docker-приложений просто не соответствовали моим потребностям. Поэтому я запускаю его в виртуальной машине на Proxmox, и я вообще не использую функцию приложений в TrueNAS. Я установил Portainer и делаю все, используя собственные docker compose YAML-файлы. Я просто монтирую docker-тома в соответствующие наборы данных на TrueNAS. Работает отлично. Что касается резервного копирования в Azure, то вам просто нужно освоить Rsync или Rclone.
29.04.2025 04:03:00, louie1961.]]> http://proxmox.su/forum/messages/forum63/message302932/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302932/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 04:03:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну вы, ребята, вроде бы знаете, что делаете. У меня есть новый сервер на базе EPYC, который я собрал. Я потратил последние 4 месяца на установку различных baremetal ОС на него (у меня посреди всего этого времени была операция на мозге – вот почему он до сих пор не введен в эксплуатацию). Я не могу решить, какую ОС использовать, и мне нужен взгляд со стороны.

Предположения:
* У меня есть старенький Synology NAS, используемый для хранения файлов и резервного копирования (не для вычислений). Этот контент будет перенесен на новый сервер.
* Я использую подключение к домену – мне нужно, чтобы это продолжало работать.
* У меня есть кластер из 3 NUC на Proxmox / Ceph для моих общих несложных вычислений (Docker Swarm, VMs Windows DCs, Home Assistant). Я буду его сохранять.
* Любые вычисления (VMs / Containers), выполненные на новом сервере, будут использоваться для задач, которые кластер не может выполнить (Nvidia cards, VMs с высокой вычислительной мощностью и т.д.).
* Zimacube Pro будет использоваться как место для получения ZFS-снимков, которые критически важны для резервного копирования / возможно, для запуска второго сервера PBS.

Куда я клоню:
* Proxmox: люблю Proxmox за открытость, гибкость, отличную поддержку VMs, в CTs не использую, вряд ли буду (см. выше VM Docker Swarm для объяснения).
* Не люблю Proxmox для NAS (ака файловое обслуживание), нет простого способа сделать это, нет общепринятого подхода, принятого сообществом.
* Люблю PBS для резервного копирования VMs, единственного CT, моих Raspberry Pi, моего Ceph volume, когда я пробовал виртуализировать TrueNAS. Несмотря на то, что я делал все правильно, в один раз Proxmox ухватил ZFS-диски и, по сути, испортил их с точки зрения TrueNAS. Кто-то еще тоже сообщил об этом (я больше никогда не буду виртуализировать TrueNAS на Proxmox).
* TrueNAS: люблю TrueNAS за управление ZFS, тесную интеграцию и GUI для подключения к домену / SMB-сервера / на ZFS / снимки дисков.
* Не люблю, когда TrueNAS блокирует меня от выполнения необходимых задач (основная – драйверы Nvidia на хосте нельзя установить самостоятельно).
* Не люблю интегрированный подход TrueNAS к резервному копированию, философию и инструменты – нельзя легко резервировать в Azure, например.

Вопросы:
* Какие у вас есть идеи, основанные на том, что вы выбрали для себя?
* Можно ли использовать nested virt с VM TrueNAS, где я могу передать GPU в Proxmox, а затем Proxmox сможет передать его различным VM, CT (особенно если GPU поддерживает true vGPU)?
29.04.2025 03:41:00, scyto.]]> http://proxmox.su/forum/messages/forum63/message302931/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302931/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 03:41:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я просто имел в виду, что TrueNAS на потребительском оборудовании (до базовых Xeon) не хватает линий PCI для создания хранилища. Мой ответ был призван показать на рабочем примере (моем), что да, можно отправлять снимки ZFS-набора данных, содержащего PBS-резервные копии, в TrueNAS, и это работает хорошо. Это также значительно быстрее, чем репликация PBS, и вам не нужно поддерживать еще один экземпляр PBS, при условии, что вы делаете снимки в то время, когда вы уверены, что никто не пишет в PBS-набор данных. Ну, на самом деле можно использовать pve hooks для создания снимка перед резервным копированием, но это довольно продвинутый уровень. Остальное я отвечал вам, потому что показалось, что вы подразумеваете, что Proxmox и TrueNAS взаимозаменяемы. Ни в коем случае.
26.02.2025 11:16:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302930/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302930/74652-proxmox-i-truenas-na-_golom_-zheleze. Wed, 26 Feb 2025 11:16:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не уверен, что понимаю, что это значит. НО, запускать Proxmox в TrueNAS — я бы не рекомендовал. Как я уже говорил, TrueNAS — это не виртуализатор или платформа для контейнеризации. Эти функции там есть и прекрасно работают для базовых задач, и, кстати, я рекомендовал контейнер PBS для небольших систем, потому что я его тестировал, и он работает замечательно. Однако TrueNAS вольно обращается с системными конфигурационными файлами, перезаписывая, перетаскивая всё вокруг. iXsystems рекомендуют не слишком сильно лезть в систему, из-за этого. С другой стороны, Proxmox — это практически Debian, там особых приключений не происходит. Так что, если заблокировать драйверы (или, лучше, само устройство по идентификаторам устройств, это намного безопаснее), ядро Linux никогда не будет заявлять об их существовании, и уж тем более о самих дисках, потому что они просто не будут видны. Мы говорим о том, что это не работает? То есть, блокировка устройств? Это для меня новое. Ну и, конечно, сам факт того, что карта передаётся корректно, — это совершенно другой вопрос.
29.04.2025 07:23:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302929/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302929/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 29 Apr 2025 07:23:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я, честно говоря, не до конца понимаю, что имеется в виду, но полностью согласен, что виртуализировать TrueNAS внутри PVE-окружения не стоит. Это такая ненужная зависимость, которая не дает никакой реальной выгоды. Вы говорите, что есть преимущества от запуска Trunas, и я с вами не спорю, но если вы используете хранилище на том же физическом оборудовании, что и PVE, то лучше пусть PVE сам занимается агрегацией хранилища, чтобы не создавать циклическую зависимость. Вопрос был в том, возможно ли отправлять снапшоты на TrueNAS. Не уверен, к чему тут бюджет… Никто здесь не требует и не имеет права требовать ваших объяснений, как вы развертываете то, что развертываете. Это на самом деле возможно и может быть рабочим решением.
19.02.2025 22:06:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message302928/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302928/74652-proxmox-i-truenas-na-_golom_-zheleze. Wed, 19 Feb 2025 22:06:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да. На самом деле, я никогда не говорил, что я виртуализирую TrueNAS. Я делал это, и это прекрасно работало какое-то время. Единственная причина, по которой я сейчас не виртуализирую TrueNAS, в том, что у потребительских процессоров недостаточно линий PCIe для меня. Так что у меня есть 2 машины PVE и 2 машины bare metal TrueNAS (одна основная и одна резервная). Пожалуйста, учтите, что это домашняя лаборатория. Было бы ужасной растратой денег, если бы мне понадобился ПЯТЫЙ машина только для PBS, я же не Уоррен Баффет. К тому же, TrueNAS — гораздо лучший способ управления другими сервисами и данными, такими как SMB-шары, iSCSI-шары, NFS-шары и т.д. Не говоря уже о том, насколько отказоустойчив и прост в восстановлении TrueNAS. PBS и PVE? Для резервного копирования и восстановления хоста требуется командная строка в обоих случаях. Так что я НАСТОЯТЕЛЬНО не согласен с идеей, что Proxmox и TrueNAS могут заменять друг друга, за исключением очень простых случаев, поскольку PVE и PBS — это не хранилища, а TrueNAS — не виртуализационное устройство: они слишком сильно меняются (плагины да, плагины нет, bhyve здесь, kvm там, кубернетис... ох нет, теперь это Docker и т.д.). Да, функциональность частично пересекается, но есть серьезные различия в простоте управления и доработке. Если спросить меня, то стоит виртуализировать на TrueNAS только: нативные Docker-контейнеры, которых нет в PVE, но, эй, вы все равно можете запустить vm/ct в PVE и запускать оттуда lxc-контейнеры: все еще не идеально совпадают. Даже не видя интерфейса, я очень сомневаюсь, что вы когда-либо получите простоту управления, которую вы получаете с PVE (резервное копирование, миграция и т.д.); конечно, если у вас всего несколько lxc-контейнеров или виртуальных машин, которые почти никогда не меняются, вы не запустите экземпляр PVE для ЭТОГО, TrueNAS вполне подойдет. PBS — это исключение из случая lxc-контейнера, когда наличие PBS как appliance Truenas намного превосходит, особенно если у вас только один экземпляр PBS, вы хотите использовать возможности управления TrueNAS, такие как моментальные снимки, репликацию, облачное резервное копирование; это еще лучше, если вам уже нужен TrueNAS для других вещей, которые Proxmox не имеет. И PBS не требует многого с точки зрения резервного копирования, просто rsync /etc/proxmox-backup. Кстати, я все еще могу вернуться к виртуализации моего основного NAS, если решу купить что-то вроде ThreadRipper в будущем... но я никогда не буду виртуализировать экземпляр TrueNAS, где я храню свои вторичные резервные копии. Кстати, если у вас нет какого-то альтернативного хранилища, куда вы делаете резервную копию самих хостов PVE?
19.02.2025 09:41:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302927/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302927/74652-proxmox-i-truenas-na-_golom_-zheleze. Wed, 19 Feb 2025 09:41:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Уже 25.04, но вопрос в другом: тебе вообще нужен TrueNAS вне роли сервера для резервного копирования? Proxmox и TrueNAS все больше сближаются по функциональности, так что, возможно, будет предпочтительнее запускать один ИЛИ другой, а не виртуализировать один внутри другого. Если ты планируешь продолжать использовать Proxmox, то, ВОЗМОЖНО, можно сделать то, что ты предлагаешь (отправлять снимки ZFS на том ZFS-том, который хостится на TrueNAS), но простого способа восстановить эти снимки нет, что сильно ограничивает их практическую полезность. Как уже заметили другие, использование PBS — лучший вариант не только потому, что он интегрирован в рабочий процесс Proxmox, но и потому, что у него довольно эффективная дедупликация, не зависящая от целевой файловой системы.
18.02.2025 23:52:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message302926/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302926/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 18 Feb 2025 23:52:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Заметьте, что метод реализации предполагает использование сервера PBS на "голом железе". Если вы что-то делаете, основываясь на моих рекомендациях, ответственность за последствия лежит только на вас.

**SETUP 1.0**

Это конфигурация, которую я использую дома уже несколько лет, и она работает. Я создал VM в Truenas SCALE и следовал руководству по установке PBS в виртуальную машину. Можно использовать любой производный от Debian дистрибутив. Я выбрал Debian Bookworm, потому что он такой же, как в ISO-образе для установки PBS. Я настоятельно не рекомендую использовать TrueNAS CORE для этой цели, так как в некоторых конфигурациях виртуальные машины работают слишком медленно.

Инструкция здесь: https://pbs.proxmox.com/docs/installation.html#install-proxmox-backup-server-on-debian

Внутри виртуальной машины я смонтировал общий ресурс из TrueNAS. Я создал набор данных в PBS, указав точку монтирования, которую выбрал внутри VM PBS (в моем случае /mnt/backup, потому что у меня богатая фантазия).

Теперь важно решить, какой тип общего ресурса использовать. Поэкспериментировав с NFS и обнаружив, что он очень медленный, я перешел на Samba. Это работает хорошо, и я позаботился о создании большого количества снимков набора данных TrueNAS. Так я был уверен, что всегда есть хотя бы один хороший снимок, если он понадобится. Это не идеально, но это намного быстрее, чем NFS, потому что ОНО НЕ СИНХРОНИЗИРУЕТСЯ так часто, как NFS. Это известная проблема с NFS на ZFS, о которой знает каждый, кто использует NFS на ZFS по сравнению с Samba или iSCSI. Возможно, iSCSI лучше, чем Samba, но я хочу иметь возможность синхронизировать набор данных с Google Drive (зашифрованный) просто так, для развлечения и чтобы посмотреть, работает ли это, чего я не могу сделать из TrueNAS, если это iSCSI.

Производительность NFS на запись, кстати, составляла 20-40 МБ/с на канале Ethernet более 1 Гбит/с без подходящего устройства ZFS SLOG, которое должно быть небольшим, но очень быстрым NVME SSD с зеркалированием. Зеркалирование необходимо, если вы не хотите потерять весь пул в случае отказа устройства SLOG! Если только у вас нет ZFS пула на NVME, в этом случае все будет быстрее, и все равно я бы предпочел использовать правильное устройство SLOG.

Теперь, если вы не очень хорошо разбираетесь в ZFS, не стоит экспериментировать с устройствами SLOG, конечно. Если вы боитесь Samba или iSCSI (что не является плохой позицией), используйте NFS.

**SETUP 1.1**

Это конфигурация, которую я использовал у клиента: он хотел пойти этим путем, несмотря на то, что я сказал ему не делать этого, потому что это могло быть умеренно рискованно и очень медленно, как я говорил раньше. На самом деле тот факт, что это так медленно, делает это более рискованным. Это то же самое, что и SETUP 1, но VM находилась в виртуальной среде Proxmox, а общий ресурс – по протоколу NFS.

Теперь проблема в том, что происходит, когда точка монтирования выходит из строя, потому что TrueNAS Core у этого клиента выходит из строя (чего не должно случиться в SETUP 1.0, потому что это одна и та же машина). Поэтому я создал скрипт, который проверяет, работает ли точка монтирования, и в случае сбоя непрерывно пытается перемонтировать ее. Это безопасно, если только общий ресурс не выходит из строя во время записи, потому что резервные копии на хостах PVE просто не удастся…

**SETUP 2**

TrueNAS может в будущем поддерживать Jailmaker для создания песочниц. Тем временем необходимые службы и инструменты для создания песочниц были добавлены из SCALE 24.04:

РУКОВОДСТВО от TrueNAS: https://www.truenas.com/docs/scale/24.04/scaletutorials/apps/sandboxes/
РУКОВОДСТВО от Jailmaker: https://github.com/Jip-Hop/jailmaker?tab=readme-ov-file

Опять же: ничто из того, что я говорю здесь, не поддерживается ни TrueNAS, ни Proxmox!

Итак, что я сделал, ведь у меня много снимков и резервных копий? Я создал песочницу Debian с помощью Jailmaker в TrueNAS SCALE. Я следовал руководству по установке PBS в песочницу. Я следовал инструкциям по перемонтированию исходного набора данных в песочницу из документации Jailmaker. Точка монтирования по-прежнему была /mnt/backup, поэтому я просто скопировал содержимое /etc/proxmox-backup из старой VM в новую песочницу и настроил тот же IP-адрес, также согласно документации Jailmaker.

**РЕШИЛ БОЛЬШУЮ ПРОБЛЕМУ**, которая возникает при переходе с Samba на LOCAL/NFS/iSCSI или наоборот.

Теперь "большая" проблема заключается в следующем: если вы переходите с набора данных, смонтированного по протоколу SMB, обычно вы монтируете из TrueNAS с en-US.UTF-8. Если вы монтируете NFS, он использует целевой кодировку, которая в TrueNAS SCALE, к сожалению, C.UTF-8 (я не знаю, почему они изменили это, в TrueNAS CORE это было en-US.UTF-8!).

Изменение локали в TrueNAS нежелательно, я не хочу ничего сломать. В en-US.UTF-8 (или в других европейских языках, я ничего не знаю о японском и китайском и других кодировках) символ ":" (UTF-8 номер 58) в Samba становится UTF-8 номером 61474 в NFS, который является "невидимым". Поскольку метаданные в хранилище данных PBS называются чем-то вроде ct/107/2024-10-27T11:00:19Z для контейнеров или vm/1072024-10-27T11:00:19Z для виртуальных машин, резервные копии буквально "исчезают". Поэтому мне пришлось создать скрипт для переименования их соответствующим образом.

Теперь все работает с SETUP2, и намного быстрее, чем раньше, практически как на "голо́м железе". На самом деле, другие каталоги не содержат специальных символов. Я в основном говорю о скрытом каталоге .chunks, содержащем данные, где имена файлов и каталогов состоят только из шестнадцатеричных цифр.

Теперь, конечно, мне нужно проверять при каждом крупном обновлении TrueNAS CORE, не решили ли художники из ixSystems изменить кодировку по умолчанию снова, но это довольно просто: если я вижу исчезающие резервные копии, я знаю, где искать.
18.02.2025 19:05:00, zizzithefox.]]> http://proxmox.su/forum/messages/forum63/message302925/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302925/74652-proxmox-i-truenas-na-_golom_-zheleze. Tue, 18 Feb 2025 19:05:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Proxmox Backup Server – это то, что тебе нужно (с возможностью загрузки из резервной копии). Загружаться из ZFS-снимок нельзя. Теперь у тебя есть два варианта: использовать Proxmox Backup Storage на твоем хранилище резервных копий, если оно выделено для кластера (профессиональная настройка). Для домашних лабораторий ты, возможно, захочешь использовать хранилище резервных копий для других задач. TrueNAS может разместить VM с PBS, ты можешь выделить этой VM столько места, сколько нужно для резервного копирования твоего сервера. Когда упадёт узел 1, ты сможешь относительно моментально восстановить систему из резервной копии с загрузкой.
17.02.2025 14:07:00, guruevi.]]> http://proxmox.su/forum/messages/forum63/message302924/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302924/74652-proxmox-i-truenas-na-_golom_-zheleze. Mon, 17 Feb 2025 14:07:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Думаю, вы ищете Proxmox Backup Server, так как он умеет делать "живую загрузку". Можно использовать TrueNAS в качестве хранилища, если вы разделяете его для других целей.
17.02.2025 11:54:00, guruevi.]]> http://proxmox.su/forum/messages/forum63/message302923/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302923/74652-proxmox-i-truenas-na-_golom_-zheleze. Mon, 17 Feb 2025 11:54:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пожалуйста, я не понимаю. Можешь, пожалуйста, объяснить лучше? Что ты имеешь в виду под Proxmox Backup с TrueNAS в качестве хранилища?
17.02.2025 13:32:00, franconovik.]]> http://proxmox.su/forum/messages/forum63/message302922/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302922/74652-proxmox-i-truenas-na-_golom_-zheleze. Mon, 17 Feb 2025 13:32:00 +0300 Proxmox Виртуальная Среда PROXMOX и TRUENAS на "голом" железе. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня кластер PROXMOX 8.3 HA с 3 нодами (N1, N2 и N3), использую zfs на локальных дисках. Хочу использовать свой TrueNAS, который называется TN, на bare metal с zfs snapshots, которые приходят с других нод. Возможно ли это и как настроить? Допустим, я определил VM на ноде N1 и использовал zfs на локальном диске. Могу ли я создать снимок на TrueNAS TN? Этот снимок можно будет использовать в случае падения ноды N1? То есть, если N1 вылетит, Proxmox HA запустит VM с использованием снимка на TrueNAS? Должен ли TrueNAS TN входить в кластер HA? Как использовать и настроить PROXMOX 8.3 и TrueNAS TN для использования zfs over iscsi? Спасибо.
17.02.2025 11:24:00, franconovik.]]> http://proxmox.su/forum/messages/forum63/message302921/74652-proxmox-i-truenas-na-_golom_-zheleze. http://proxmox.su/forum/messages/forum63/message302921/74652-proxmox-i-truenas-na-_golom_-zheleze. Mon, 17 Feb 2025 11:24:00 +0300 Proxmox Виртуальная Среда