Аспро: ЛайтШоп [тема: Нужна помощь в проектировании идеальной ZFS-настройки на PVE.]

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 17:21:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, покажи вывод команды zpool status для VMS пула (в CODE-тегах)? Используешь ли ты SMR или QLC диски? Может, выясним, в чем реальная проблема с твоим физическим zpool, и подберем улучшения?
17.06.2025 17:21:00, leesteken.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 17:14:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
А еще использование PBS как VM в Proxmox — это не самый надежный вариант бэкапа. В сочетании с тем, что все это лежит в одном ZFS-пуле, получается, вообще бесполезная конструкция.
17.06.2025 17:14:00, gfngfn256.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 17:02:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
PBS тоже работает на ZFS, поэтому ZFS поверх ZFS — часто "убийца производительности", и многие участники форума будут советовать от этого воздержаться. Видишь какие-нибудь ошибки ввода-вывода на хосте PVE в zpool status?
17.06.2025 17:02:00, LnxBil.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Fri, 20 Jun 2025 14:08:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
#dmesg Я проброшу журналы здесь: [245623.366930] Ошибка ввода-вывода буфера на устройстве zd0, логический блок 512, асинхронное чтение страницы [245623.451311] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2052, асинхронное чтение страницы [245623.451320] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2049, асинхронное чтение страницы [245623.451374] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2048, асинхронное чтение страницы [245623.451375] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2050, асинхронное чтение страницы [245623.451384] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2053, асинхронное чтение страницы [245623.451388] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2051, асинхронное чтение страницы [245623.452894] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2055, асинхронное чтение страницы #zpool status -v pool: VM state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A config: NAME STATE READ WRITE CKSUM VM ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c431468ba0c ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c5815a36501 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c6e16fbab1b ONLINE 0 0 205 scsi-36842b2b045dde9002fbe0c7f17ffe33b ONLINE 0 0 205 errors: Permanent errors have been detected in the following files: VM/vm-101-disk-0:<0x1> VM/vm-100-disk-0:<0x1>
20.06.2025 14:08:00, pvpaulo.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Fri, 20 Jun 2025 13:55:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как уже сказали многие в этой теме: да. Это также может быть проблема с кабелем/разъемом, контроллером или памятью, а не с носителем данных, но обычно это аппаратная проблема. (Ваш другой скриншот с сообщениями об ошибках на консоли я не могу разобрать.)
20.06.2025 13:55:00, leesteken.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Fri, 20 Jun 2025 13:45:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я постоянно сталкиваюсь с этой проблемой: Сейчас у меня пул ZFS объемом 16 ТБ с ZFS. Я выделил 1 ТБ для внутренней VM SFTP. И выделил 8 ТБ для моей VM сервера резервного копирования proxmox. Однако, каждый раз, когда я пишу что-то вроде резервной копии на VM сервера резервного копирования proxmox, VM SFTP перестает работать и выдает ошибку ввода/вывода, а файловая система повреждается. Я использую ext4 на обеих файловых системах VM. В чем может быть проблема? Может быть, проблема в размере диска, выделенного для VM резервного копирования proxmox? Может быть, физическая проблема на одном из дисков, которые я использовал для создания пула ZFS? Или это может быть какая-то особенность в конфигурации ZFS? Это моя текущая среда: Среда простая, но я сталкиваюсь с этими проблемами.
20.06.2025 13:45:00, pvpaulo.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 18:12:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Зависит ли это от хорошего подхода — зависит от типа дисков (который вы, кажется, не хотите сообщать) и не от структуры ZFS-пула. Пожалуйста, убедитесь, что у вас есть дополнительные копии данных, и хотя бы одну — в другом месте. PBS имеет удаленную синхронизацию, которая для этого идеально подходит. Это тоже возможно (но, пожалуйста, не используйте SMR или QLC диски). Либо установите PBS как контейнер (вместо VM) и можете использовать хранилище PVE напрямую (и избежать ZFS поверх ZFS). Или установите PBS без ZFS (и тоже избежите ZFS поверх ZFS). Я тоже использую локальный PBS (как контейнер) на каждом PVE для быстрых бэкапов (и восстановления, пока железо не сломается) и регулярно синхронизирую их между собой (которые находятся в разных местах со более медленным подключением). Это не решит основных проблем, и я думаю, что вам следует сначала их изучить.
17.06.2025 18:12:00, leesteken.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 18:06:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Именно поэтому вы получили первоначальные сообщения о структурных изменениях в вашей настройке. Подумайте, что вы будете делать, если ваш PVE узел выйдет из строя и потребуется переустановка/восстановление. Где будут ваши VM-резервы?
17.06.2025 18:06:00, gfngfn256.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 18:02:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В чём вообще смысл этого делать? Сначала почини проблемы с файловой системой. Твоя ZFS-схема не в этом дело, но как-то подсистемa повреждена. Как только мы пройдем этап "не храни свою полезную нагрузку и резервные копии на одном хранилище", если тебе действительно хочется использовать PBS поверх PVE, ничто не мешает тебе использовать нативное хранилище либо с хоста (NFS, virtiofs или bind mount контейнера), либо из внешнего хранилища, чтобы не было чрезмерного увеличения числа операций записи.
17.06.2025 18:02:00, alexskysilk.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 17:56:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас были проблемы с PBS, пока мы не решили установить его на совершенно другой хост (с CPU, RAM, HDD). Это было просто кошмар, пока мы не изолировали его (аппаратно) от виртуальных машин, и диски, на которых эти виртуальные машины, начали работать и делать резервное копирование. Можно установить PBS в Proxmox, но просто выделите этому хосту только задачи резервного копирования, и всё будет хорошо. EDIT: у нас есть SAN, на который сохраняются все резервные копии, поэтому во время бэкапов нет конфликтов с локальными HDD.
17.06.2025 17:56:00, Curt Hall.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 17:50:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Поскольку среда все еще создается, я уже удалил диски и отформатировал их. Сейчас я изучаю лучший способ выполнить эту операцию. У меня есть 4 диска на 1ТБ. При использовании RAID 10 я получу 2ТБ дискового пространства. Однако я хочу добавить PBS и другие сервисы на внутренние PVE VM. Я думал создать ZFS пул из 2 дисков на 1ТБ для локальных VM. И добавить оставшиеся 2 диска на 1ТБ в Passthrough на VM с PBS и сделать ZFS пул только внутри VM с PBS. Это будет хороший подход?
17.06.2025 17:50:00, pvpaulo.

Нужна помощь в проектировании идеальной ZFS-настройки на PVE.

Tue, 17 Jun 2025 16:19:00 +0300

Нужна помощь в проектировании идеальной ZFS-настройки на PVE. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Доброе утро всем! Могу ли я попросить вашей помощи в проектировании оптимальной конфигурации для моей текущей среды Proxmox? Вот текущая ситуация: я использую Proxmox VE с 4 x 1TB дисками. Я создал ZFS пул с использованием RAID10, в результате чего пул получил имя VMS с ~2TB доступного пространства. Я виртуализирую Proxmox Backup Server (PBS) внутри этой PVE. Хочу использовать пул VMS для выделения виртуальных дисков для PBS и для других виртуальных машин, например, одной, которая предоставляет Samba файловое хранилище. Однако у меня возникли проблемы: виртуальный диск PBS, хранящийся в пуле VMS, показывает ошибки. Другая ВМ, использующая тот же пул (Samba сервер), сообщает об ошибках ввода-вывода. Команда `zpool status` сообщает, что пул VMS находится в деградированном состоянии. Учитывая эту ситуацию, какой подход к использованию ZFS будет наилучшим в этой конфигурации? Стоит ли пересмотреть, как я выделяю виртуальные диски из пула, или, скорее всего, это проблема оборудования или конфигурации ZFS? Буду очень признателен за любые предложения или советы. Спасибо заранее!
17.06.2025 16:19:00, pvpaulo.