+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Вопросы по скорости хранилища / ZFS / HBA, Proxmox Виртуальная Среда

shithead75

Guest

16.06.2025 18:23:00

Привет! Сейчас тестирую производительность дисков с разными конфигурациями, чтобы понять, что работает лучше всего, и наблюдаю странное поведение — или просто делаю что-то не так.

Моя конфигурация:
- Proliant ML30 G10 / 64GB Ram (не ракета, но должно хватить)
- Brodcom HBA 9400-16i с 4-дисковым корпусом U3 и (после некоторых проблем) с правильными кабелями.
- 4x Micron 7450 Pro Drives 1920GB — всё определяется корректно в Bios/HBA/Proxmox.
- Оценочная версия MS Server 2025 Standard, установлены драйверы VirtIO, установлены обновления, PVE 8.4.0.

Характеристики дисков:

Первый тест:
- Один диск, lvm-thin, просто чтобы почувствовать производительность диска:

Значения чтения RND4K-IOPS намного ниже, чем в спецификациях, остальное выглядит как неплохая отправная точка.
Примечание: Всегда убеждаюсь, что сервер полностью загрузился, а загрузка CPU минимальна, чтобы избежать вмешательства других процессов.

Второй тест:
- RAIDZ со всеми 4 дисками.

Мои ожидания:
- Значительно лучшее чтение (в 2-3 раза), скорость записи такая же или чуть меньше.

Мои результаты:

Я что-то упускаю, или мои ожидания просто завышены?

Большое спасибо за любые отзывы / подсказки / и т.д.!

LnxBil Guest	#2 0 16.06.2025 21:41:00 Ну что, накопитель показывает в два раза лучший результат, чем указано в спецификациях, по скорости последовательного чтения?

shithead75

Guest

16.06.2025 22:44:00

Спасибо за ответ! Да, я тоже это заметил, может, влияние кэша дисков? Но больше меня интересует, почему RaidZ не показывает прирост производительности или IOPS при чтении с более чем одного диска. Нужна ли какая-то конфигурация или тонкая настройка ZFS? Я просто создал RAIDZ через PVE-GUI... Или на HBA? Пока не игрался со storcli...

meyergru Guest	#4 0 16.06.2025 23:06:00 Я вообще не понимаю, чего ты ждешь от своей HBA, которая и так PCIe 3.1x8 и выдает максимум 7.8 GByte/s?

shithead75

Guest

17.06.2025 14:10:00

...Нашел "настоящую" спецификацию. Ты прав, спасибо, я неправильно прочитал спецификации, которые нашел перед заказом: максимальная пропускная способность 8 ГБ/с – но, конечно, не для 4x-Port, и ограничено PCI3.1..... Но если я все правильно понял, даже LSI 9500-16i с - 16 ГБ/с максимальной пропускной способностью – ограниченный PCIe 4.0 – не сможет выжать максимум из этих дисков? Действительно ли прирост скорости чтения для RAIDZ примерно такой, как можно было бы ожидать (в 3 раза с 4 дисками)? Просто не хочется менять HBA за еще пару сотен баксов (например, LSI-96xx 24G Tri-Mode-HBA) и в итоге получить либо никакой, либо незначительное увеличение скорости:-(

LnxBil

Guest

17.06.2025 14:24:00

В общем, любые дополнительные записи в пути ввода-вывода (I/O) замедляют работу, поэтому ничего не сравнится со скоростью прямого обращения к отдельным дискам от CPU через шину PCIe. Недавно я также собрал систему с контроллером 24G SAS на базе LSI, который выступает в роли RAID5 контроллера для 6 NVMe, и это действительно гораздо медленнее, чем обращение к ОДНОМУ NVMe диску напрямую (без контроллера). Я могу видеть объединенную пропускную способность только при использовании размеров ввода-вывода, равных или превышающих размер полосы в 64 КБ, тогда получаю около 19 GiB/s, что немало. Простые операции ввода-вывода размером 4k/8K, к сожалению, гораздо медленнее, всего около 1.5-2 GiB/s. Кроме того, устройство будет отображаться как SCSI, а не как NVMe, что также добавляет дополнительные задержки и, следовательно, снижает производительность пути ввода-вывода. Даже при передаче каждого диска каждый виден только как SCSI устройство, а не как NVMe.

meyergru Guest	#7 0 17.06.2025 16:26:00 Я просто указал на ограничение PCIe 3.1. PCIe 4.0 вдвое быстрее, но понятия не имею, что делают эти адаптеры с точки зрения обработки данных, это может ограничить их производительность. Если использовать N NVMe устройств, которые выжимают максимум из своих PCIe скоростей с M линий каждая, то очевидно потребуется N*M PCIe линий той же скорости, чтобы не ограничивать их максимальную пропускную способность. Таким образом, даже 9600 16i с всего 8 PCIe 4.0 линий ограничен скоростью 16 ГБ/с. Я не понимаю, как они могут заявлять о 24 ГБ/с здесь: https://www.primeline-solutions.com...ri-mode-enhanced-host-bus-adapter/#additional Я бы, наверное, выбрал два адаптера или использовал один с 16 PCIe линий (это для NVMe).

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры