Всем привет! Во-первых, не хочу тут навлечь на себя гнев, но ищу ваши советы. Во-вторых, я огромный фанат Proxmox (использую с PVE 2.x) и такой же большой фанат ZFS (использую с тех пор, как он появился в FreeBSD). Думаю, мой вопрос довольно распространен в наши дни, ведь мы все растем во всех смыслах — лучшее оборудование, современные CPU, сотни гигабайт RAM, быстрые корпоративного класса NVME диски… так что спрошу прямо — какой лучший вариант программного RAID-а, когда нужно выжать максимум скорости/IOPS из быстрых NVME дисков вместе с PVE? Как мы все знаем, Proxmox в большинстве случаев предлагает использовать ZFS, и должен сказать, что это очень превосходная файловая система с множеством функций, она очень зрелая, стабильная, безопасная — я действительно люблю ее с самого начала, без всяких сомнений. Я действительно внедрял ZFS в каждый проект, где мое мнение учитывалось — берите хороший HBA контроллер, используйте серверные SAS диски, ECC RAM, резервируйте все с помощью L2ARC или ZFS Special Device, и у вас получится неплохая настройка для практически всего. Но есть одна настройка, которая не дает мне спокойно спать — использование ZFS поверх NVME дисков. В частности, использование ZFS на серверном оборудовании, таком как платформы Supermicro All-NVME с несколькими NVME дисками, например, Intel D7-P5600. Так что, если коротко, у меня сегодня есть — совершенно новый сервер Supermicro, два CPU Xeon 4214, 512GB ECC RAM и 4 x Intel P7-5620 3.2TB NVME U.2 диска. И честно говоря, должен сказать, что ZFS в любой конфигурации на этом сервере (всевозможные RAID(z) конфигурации из 4 дисков) действительно подводит с точки зрения скорости, IOPS и нагрузки на CPU. Я тестировал множество zpool/zfs опций, все тесты проведены с помощью FIO (не хочу вдаваться в подробности, это будет очень длинное описание), но по сравнению с простым Linux MDADM с или без LVM сверху ZFS сильно отстает. Я прекрасно понимаю, почему это происходит — ZFS просто обеспечивает безопасность ваших данных на всем пути, и есть множество тем в интернете, что ZFS поверх NVME не позволяет получить максимум скорости и IOPS — это просто компромисс, если вам нужны все функции ZFS. В то же время я понимаю, почему Proxmox официально не поддерживает MDADM — ок, я с этим согласен, это их решение, и мы должны ему подчиняться, особенно когда есть простой способ обойти это ограничение. Итак, мой простой вопрос — когда вы покупаете быстрые NVME диски и хотите воспользоваться их преимуществами — как вы выстраиваете файловую систему и что используете? Я уверен, что я не единственный человек, столкнувшийся с этой проблемой, давайте обсудим!