Аспро: ЛайтШоп [тема: ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные**]

Аспро: ЛайтШоп [тема: ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные**] http://proxmox.su Новое в теме ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Tue, 05 May 2026 21:36:16 +0300 ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не эксперт в этом вопросе, но если вы используете новенькие PCIe Gen5 NVME SSD, то лучше избегать контроллеров и использовать прямое подключение с ZFS mirror, потому что сам контроллер RAID поддерживает только PCIe Gen4 (16 линий), поэтому максимальная скорость – около 32 ГБ/с. Самые новые NVME SSD могут достигать до 14 ГБ/с, и это только максимальная пропускная способность. Скорее всего, задержка и IOPS будут лучше, если не использовать никаких устройств между ними. Да, ZFS немного снизит эту теоретическую производительность...
04.07.2025 14:15:00, MarkusKo.]]> http://proxmox.su/forum/messages/forum63/message329085/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d http://proxmox.su/forum/messages/forum63/message329085/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d Fri, 04 Jul 2025 14:15:00 +0300 Proxmox Виртуальная Среда ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
К сожалению, я пока не знаю, будет ли между ними S160. Но, возможно, потребуется что-то вроде мультиплексора. Dell с Intel CPU, скорее всего, не имеют достаточно линий PCIe для прямого подключения всех NVMes (в зависимости от количества слотов). Это сильно зависит от используемой схемы, и только Dell может вам это точно сказать. Возможно, вам потребуется перейти на AMD: 6444Y имеет 80 линий, EPYC 9124 — 128. У нас есть пара R760 с PERC H965i и 6x 3.84 TiB NVMe CD8 U (по данным Dell), и производительность оставляет желать лучшего. 8K-рабочие нагрузки ОЧЕНЬ-ОЧЕНЬ медленные для того, что можно ожидать, даже медленнее, чем на одной NVMe в AMD-системе, которую мы делали в прошлом году. Все тесты проводились с использованием fio на блочных устройствах без какого-либо менеджера томов/файловой системы между ними: fio 8k последовательное чтение, 1 поток, QD32: 2.6 GB/s; 16 потоков "всего" 3 GB/s, но если размер блока 128K — 22 GB/s. fio 4k случайное чтение, 1 поток, QD32: 1.3 GB/s; 16 потоков 1.5 GB/s, но если размер блока 128K — 20 GB/s. Если у вас есть система/приложение с хорошим предвычитыванием, например, Oracle Database (multiblock_read_count), то вы получите полную производительность, но не все ситуации таковыми являются. Также, YMMV. Итак, с настройкой ZFS zvol 16K, это может быть не так быстро, если блоки не совпадают, но CEPH или LVM система с достаточно большим размером блока будет быстрее (CEPH на HW — это полный провал). Вы можете получить лучшую производительность, поэкспериментировав с размером блока по умолчанию ZFS. В системе AMD у нас были начального уровня NVMes PCIe 4.0 без контроллера и мы достигли в обоих тестах > 5 GB/s на одной NVMe, так что это лучше подходило для рабочих нагрузок ZFS.
04.07.2025 12:26:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message329084/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d http://proxmox.su/forum/messages/forum63/message329084/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d Fri, 04 Jul 2025 12:26:00 +0300 Proxmox Виртуальная Среда ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** ZFS на дисках NVMe с прямым подключением к DELL против накопителей HWRAID В этом посте я проведу сравнение использования ZFS с NVMe дисками, подключенными напрямую к серверу DELL, и использование этих же дисков с контроллерами HWRAID. **Вводные данные** Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я новичок в мире Proxmox. Я искал ответ на этот вопрос, но не смог разобраться. Хотим купить 4 Dell R760/R770 для запуска PVE. Сейчас у нас 4 старых Dell, подключенных к старому SAN с LVM и plain KVM/QEMU. У нас около 50 VM, и мы довольно статичны в этом вопросе. Мы никогда не использовали ZFS, так что мы новички в этом мире. Мы много раз читали, что не стоит использовать ZFS поверх HW RAID по причинам целостности данных. Тем не менее, поскольку наша попытка с Proxmox может не получиться, мы хотим оставить дверь открытой для возвращения к LVM+ext4 и сомневаемся между этими двумя вариантами: 16 NVMe-накопителей объемом 800 ГБ, Smart Flow или 16 NVMe-накопителей с HWRAID, Smart Flow, Dual Controller, Front PERC 12.

С первым вариантом у нас будет возможность представить все 16 дисков так, как это сделал бы HBA, верно? Так что мы можем объединить их с ZFS и заниматься своими делами напрямую с ним. Некоторые коллеги говорят, что все равно будет какой-то тип контроллера (например, S160!?), но я читал, что у каждого NVMe есть выделенная PCIe-линия к CPU, поэтому не имеет смысла иметь что-то между ними.

Со вторым вариантом мы оставим дверь открытой, НО не понимаем, будет ли использование всех дисков как "non-raid" все равно использовать какой-то кэш на HW RAID-контроллерах. Похоже, что "non-raid диски" будут иметь опцию "Write-Through" (хорошо, правда?), но будут представлены как SAS (а не NVMe), так что я не понимаю, потеряем ли мы какую-то функциональность ZFS.

Вне зависимости от того, что PERC будет стоить у нас больше чем на 1000 евро дороже, чем опция "direct drives", может ли второй вариант быть жизнеспособным путем, или он может привести к потере или повреждению данных, как все говорят о ZFS поверх HWRAID? И, наконец, покроет ли базовая (или стандартная) подписка Proxmox этот тип проблем, или это дело ZFS-специалистов?
03.07.2025 23:03:00, guido.lamoto.]]> http://proxmox.su/forum/messages/forum63/message329083/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d http://proxmox.su/forum/messages/forum63/message329083/78370-zfs-na-diskakh-nvme-s-pryamym-podklyucheniem-k-dell-protiv-nakopiteley-hwraid-v-etom-poste-ya-provedu-sravnenie-ispolzovaniya-zfs-s-nvme-diskami_-podklyuchennymi-napryamuyu-k-serveru-dell_-i-ispolzovanie-etikh-zhe-diskov-s-kontrollerami-hwraid.-_vvodnye-d Thu, 03 Jul 2025 23:03:00 +0300 Proxmox Виртуальная Среда