http://proxmox.su Новое в теме Вопросы по скорости хранилища / ZFS / HBA форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 29 Apr 2026 06:52:50 +0300 Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я просто указал на ограничение PCIe 3.1. PCIe 4.0 вдвое быстрее, но понятия не имею, что делают эти адаптеры с точки зрения обработки данных, это может ограничить их производительность. Если использовать N NVMe устройств, которые выжимают максимум из своих PCIe скоростей с M линий каждая, то очевидно потребуется N*M PCIe линий той же скорости, чтобы не ограничивать их максимальную пропускную способность. Таким образом, даже 9600 16i с всего 8 PCIe 4.0 линий ограничен скоростью 16 ГБ/с. Я не понимаю, как они могут заявлять о 24 ГБ/с здесь: https://www.primeline-solutions.com...ri-mode-enhanced-host-bus-adapter/#additional Я бы, наверное, выбрал два адаптера или использовал один с 16 PCIe линий (это для NVMe).
17.06.2025 16:26:00, meyergru.]]> http://proxmox.su/forum/messages/forum63/message322255/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322255/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Tue, 17 Jun 2025 16:26:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В общем, любые дополнительные записи в пути ввода-вывода (I/O) замедляют работу, поэтому ничего не сравнится со скоростью прямого обращения к отдельным дискам от CPU через шину PCIe. Недавно я также собрал систему с контроллером 24G SAS на базе LSI, который выступает в роли RAID5 контроллера для 6 NVMe, и это действительно гораздо медленнее, чем обращение к ОДНОМУ NVMe диску напрямую (без контроллера). Я могу видеть объединенную пропускную способность только при использовании размеров ввода-вывода, равных или превышающих размер полосы в 64 КБ, тогда получаю около 19 GiB/s, что немало. Простые операции ввода-вывода размером 4k/8K, к сожалению, гораздо медленнее, всего около 1.5-2 GiB/s. Кроме того, устройство будет отображаться как SCSI, а не как NVMe, что также добавляет дополнительные задержки и, следовательно, снижает производительность пути ввода-вывода. Даже при передаче каждого диска каждый виден только как SCSI устройство, а не как NVMe.
17.06.2025 14:24:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message322254/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322254/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Tue, 17 Jun 2025 14:24:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
...Нашел "настоящую" спецификацию. Ты прав, спасибо, я неправильно прочитал спецификации, которые нашел перед заказом: максимальная пропускная способность 8 ГБ/с – но, конечно, не для 4x-Port, и ограничено PCI3.1..... Но если я все правильно понял, даже LSI 9500-16i с - 16 ГБ/с максимальной пропускной способностью – ограниченный PCIe 4.0 – не сможет выжать максимум из этих дисков? Действительно ли прирост скорости чтения для RAIDZ примерно такой, как можно было бы ожидать (в 3 раза с 4 дисками)? Просто не хочется менять HBA за еще пару сотен баксов (например, LSI-96xx 24G Tri-Mode-HBA) и в итоге получить либо никакой, либо незначительное увеличение скорости:-(
17.06.2025 14:10:00, shithead75.]]> http://proxmox.su/forum/messages/forum63/message322253/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322253/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Tue, 17 Jun 2025 14:10:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я вообще не понимаю, чего ты ждешь от своей HBA, которая и так PCIe 3.1x8 и выдает максимум 7.8 GByte/s?
16.06.2025 23:06:00, meyergru.]]> http://proxmox.su/forum/messages/forum63/message322252/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322252/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Mon, 16 Jun 2025 23:06:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за ответ! Да, я тоже это заметил, может, влияние кэша дисков? Но больше меня интересует, почему RaidZ не показывает прирост производительности или IOPS при чтении с более чем одного диска. Нужна ли какая-то конфигурация или тонкая настройка ZFS? Я просто создал RAIDZ через PVE-GUI... Или на HBA? Пока не игрался со storcli...
16.06.2025 22:44:00, shithead75.]]> http://proxmox.su/forum/messages/forum63/message322251/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322251/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Mon, 16 Jun 2025 22:44:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну что, накопитель показывает в два раза лучший результат, чем указано в спецификациях, по скорости последовательного чтения?
16.06.2025 21:41:00, LnxBil.]]> http://proxmox.su/forum/messages/forum63/message322250/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322250/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Mon, 16 Jun 2025 21:41:00 +0300 Proxmox Виртуальная Среда Вопросы по скорости хранилища / ZFS / HBA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Сейчас тестирую производительность дисков с разными конфигурациями, чтобы понять, что работает лучше всего, и наблюдаю странное поведение — или просто делаю что-то не так.

Моя конфигурация:
- Proliant ML30 G10 / 64GB Ram (не ракета, но должно хватить)
- Brodcom HBA 9400-16i с 4-дисковым корпусом U3 и (после некоторых проблем) с правильными кабелями.
- 4x Micron 7450 Pro Drives 1920GB — всё определяется корректно в Bios/HBA/Proxmox.
- Оценочная версия MS Server 2025 Standard, установлены драйверы VirtIO, установлены обновления, PVE 8.4.0.

Характеристики дисков:


Первый тест:
- Один диск, lvm-thin, просто чтобы почувствовать производительность диска:



Значения чтения RND4K-IOPS намного ниже, чем в спецификациях, остальное выглядит как неплохая отправная точка.
Примечание: Всегда убеждаюсь, что сервер полностью загрузился, а загрузка CPU минимальна, чтобы избежать вмешательства других процессов.

Второй тест:
- RAIDZ со всеми 4 дисками.

Мои ожидания:
- Значительно лучшее чтение (в 2-3 раза), скорость записи такая же или чуть меньше.

Мои результаты:



Я что-то упускаю, или мои ожидания просто завышены?

Большое спасибо за любые отзывы / подсказки / и т.д.!
16.06.2025 18:23:00, shithead75.]]> http://proxmox.su/forum/messages/forum63/message322249/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba http://proxmox.su/forum/messages/forum63/message322249/77410-voprosy-po-skorosti-khranilishcha-_-zfs-_-hba Mon, 16 Jun 2025 18:23:00 +0300 Proxmox Виртуальная Среда