Привет! Я новичок в мире Proxmox. Я искал ответ на этот вопрос, но не смог разобраться. Хотим купить 4 Dell R760/R770 для запуска PVE. Сейчас у нас 4 старых Dell, подключенных к старому SAN с LVM и plain KVM/QEMU. У нас около 50 VM, и мы довольно статичны в этом вопросе. Мы никогда не использовали ZFS, так что мы новички в этом мире. Мы много раз читали, что не стоит использовать ZFS поверх HW RAID по причинам целостности данных. Тем не менее, поскольку наша попытка с Proxmox может не получиться, мы хотим оставить дверь открытой для возвращения к LVM+ext4 и сомневаемся между этими двумя вариантами: 16 NVMe-накопителей объемом 800 ГБ, Smart Flow или 16 NVMe-накопителей с HWRAID, Smart Flow, Dual Controller, Front PERC 12.

С первым вариантом у нас будет возможность представить все 16 дисков так, как это сделал бы HBA, верно? Так что мы можем объединить их с ZFS и заниматься своими делами напрямую с ним. Некоторые коллеги говорят, что все равно будет какой-то тип контроллера (например, S160!?), но я читал, что у каждого NVMe есть выделенная PCIe-линия к CPU, поэтому не имеет смысла иметь что-то между ними.

Со вторым вариантом мы оставим дверь открытой, НО не понимаем, будет ли использование всех дисков как "non-raid" все равно использовать какой-то кэш на HW RAID-контроллерах. Похоже, что "non-raid диски" будут иметь опцию "Write-Through" (хорошо, правда?), но будут представлены как SAS (а не NVMe), так что я не понимаю, потеряем ли мы какую-то функциональность ZFS.

Вне зависимости от того, что PERC будет стоить у нас больше чем на 1000 евро дороже, чем опция "direct drives", может ли второй вариант быть жизнеспособным путем, или он может привести к потере или повреждению данных, как все говорят о ZFS поверх HWRAID? И, наконец, покроет ли базовая (или стандартная) подписка Proxmox этот тип проблем, или это дело ZFS-специалистов?