+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Нужна помощь в проектировании идеальной ZFS-настройки на PVE., Proxmox Виртуальная Среда

pvpaulo

Guest

17.06.2025 16:19:00

Доброе утро всем! Могу ли я попросить вашей помощи в проектировании оптимальной конфигурации для моей текущей среды Proxmox? Вот текущая ситуация: я использую Proxmox VE с 4 x 1TB дисками. Я создал ZFS пул с использованием RAID10, в результате чего пул получил имя VMS с ~2TB доступного пространства. Я виртуализирую Proxmox Backup Server (PBS) внутри этой PVE. Хочу использовать пул VMS для выделения виртуальных дисков для PBS и для других виртуальных машин, например, одной, которая предоставляет Samba файловое хранилище. Однако у меня возникли проблемы: виртуальный диск PBS, хранящийся в пуле VMS, показывает ошибки. Другая ВМ, использующая тот же пул (Samba сервер), сообщает об ошибках ввода-вывода. Команда `zpool status` сообщает, что пул VMS находится в деградированном состоянии. Учитывая эту ситуацию, какой подход к использованию ZFS будет наилучшим в этой конфигурации? Стоит ли пересмотреть, как я выделяю виртуальные диски из пула, или, скорее всего, это проблема оборудования или конфигурации ZFS? Буду очень признателен за любые предложения или советы. Спасибо заранее!

pvpaulo

Guest

17.06.2025 17:50:00

Поскольку среда все еще создается, я уже удалил диски и отформатировал их. Сейчас я изучаю лучший способ выполнить эту операцию. У меня есть 4 диска на 1ТБ. При использовании RAID 10 я получу 2ТБ дискового пространства. Однако я хочу добавить PBS и другие сервисы на внутренние PVE VM. Я думал создать ZFS пул из 2 дисков на 1ТБ для локальных VM. И добавить оставшиеся 2 диска на 1ТБ в Passthrough на VM с PBS и сделать ZFS пул только внутри VM с PBS. Это будет хороший подход?

Curt Hall

Guest

17.06.2025 17:56:00

У нас были проблемы с PBS, пока мы не решили установить его на совершенно другой хост (с CPU, RAM, HDD). Это было просто кошмар, пока мы не изолировали его (аппаратно) от виртуальных машин, и диски, на которых эти виртуальные машины, начали работать и делать резервное копирование. Можно установить PBS в Proxmox, но просто выделите этому хосту только задачи резервного копирования, и всё будет хорошо. EDIT: у нас есть SAN, на который сохраняются все резервные копии, поэтому во время бэкапов нет конфликтов с локальными HDD.

alexskysilk

Guest

17.06.2025 18:02:00

В чём вообще смысл этого делать? Сначала почини проблемы с файловой системой. Твоя ZFS-схема не в этом дело, но как-то подсистемa повреждена. Как только мы пройдем этап "не храни свою полезную нагрузку и резервные копии на одном хранилище", если тебе действительно хочется использовать PBS поверх PVE, ничто не мешает тебе использовать нативное хранилище либо с хоста (NFS, virtiofs или bind mount контейнера), либо из внешнего хранилища, чтобы не было чрезмерного увеличения числа операций записи.

gfngfn256

Guest

17.06.2025 18:06:00

Именно поэтому вы получили первоначальные сообщения о структурных изменениях в вашей настройке. Подумайте, что вы будете делать, если ваш PVE узел выйдет из строя и потребуется переустановка/восстановление. Где будут ваши VM-резервы?

leesteken

Guest

17.06.2025 18:12:00

Зависит ли это от хорошего подхода — зависит от типа дисков (который вы, кажется, не хотите сообщать) и не от структуры ZFS-пула. Пожалуйста, убедитесь, что у вас есть дополнительные копии данных, и хотя бы одну — в другом месте. PBS имеет удаленную синхронизацию, которая для этого идеально подходит. Это тоже возможно (но, пожалуйста, не используйте SMR или QLC диски). Либо установите PBS как контейнер (вместо VM) и можете использовать хранилище PVE напрямую (и избежать ZFS поверх ZFS). Или установите PBS без ZFS (и тоже избежите ZFS поверх ZFS). Я тоже использую локальный PBS (как контейнер) на каждом PVE для быстрых бэкапов (и восстановления, пока железо не сломается) и регулярно синхронизирую их между собой (которые находятся в разных местах со более медленным подключением). Это не решит основных проблем, и я думаю, что вам следует сначала их изучить.

pvpaulo

Guest

20.06.2025 13:45:00

Я постоянно сталкиваюсь с этой проблемой:

Сейчас у меня пул ZFS объемом 16 ТБ с ZFS. Я выделил 1 ТБ для внутренней VM SFTP. И выделил 8 ТБ для моей VM сервера резервного копирования proxmox. Однако, каждый раз, когда я пишу что-то вроде резервной копии на VM сервера резервного копирования proxmox, VM SFTP перестает работать и выдает ошибку ввода/вывода, а файловая система повреждается. Я использую ext4 на обеих файловых системах VM. В чем может быть проблема? Может быть, проблема в размере диска, выделенного для VM резервного копирования proxmox? Может быть, физическая проблема на одном из дисков, которые я использовал для создания пула ZFS? Или это может быть какая-то особенность в конфигурации ZFS? Это моя текущая среда:

Среда простая, но я сталкиваюсь с этими проблемами.

leesteken

Guest

20.06.2025 13:55:00

Как уже сказали многие в этой теме: да. Это также может быть проблема с кабелем/разъемом, контроллером или памятью, а не с носителем данных, но обычно это аппаратная проблема. (Ваш другой скриншот с сообщениями об ошибках на консоли я не могу разобрать.)

pvpaulo

Guest

20.06.2025 14:08:00

#dmesg Я проброшу журналы здесь: [245623.366930] Ошибка ввода-вывода буфера на устройстве zd0, логический блок 512, асинхронное чтение страницы [245623.451311] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2052, асинхронное чтение страницы [245623.451320] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2049, асинхронное чтение страницы [245623.451374] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2048, асинхронное чтение страницы [245623.451375] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2050, асинхронное чтение страницы [245623.451384] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2053, асинхронное чтение страницы [245623.451388] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2051, асинхронное чтение страницы [245623.452894] Ошибка ввода-вывода буфера на устройстве zd0p1, логический блок 2055, асинхронное чтение страницы #zpool status -v pool: VM state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A config: NAME STATE READ WRITE CKSUM VM ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c431468ba0c ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c5815a36501 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 scsi-36842b2b045dde9002fbe0c6e16fbab1b ONLINE 0 0 205 scsi-36842b2b045dde9002fbe0c7f17ffe33b ONLINE 0 0 205 errors: Permanent errors have been detected in the following files: VM/vm-101-disk-0:<0x1> VM/vm-100-disk-0:<0x1>

LnxBil

Guest

#10

17.06.2025 17:02:00

PBS тоже работает на ZFS, поэтому ZFS поверх ZFS — часто "убийца производительности", и многие участники форума будут советовать от этого воздержаться. Видишь какие-нибудь ошибки ввода-вывода на хосте PVE в zpool status?

gfngfn256 Guest	#11 0 17.06.2025 17:14:00 А еще использование PBS как VM в Proxmox — это не самый надежный вариант бэкапа. В сочетании с тем, что все это лежит в одном ZFS-пуле, получается, вообще бесполезная конструкция.

leesteken Guest	#12 0 17.06.2025 17:21:00 Может, покажи вывод команды zpool status для VMS пула (в CODE-тегах)? Используешь ли ты SMR или QLC диски? Может, выясним, в чем реальная проблема с твоим физическим zpool, и подберем улучшения?

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры