+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Тестирование NVMe PCIe 5., Proxmox Виртуальная Среда

jggundin

Guest

26.11.2024 14:01:00

Привет! Я тестирую разные конфигурации хранилища на новом сервере и обнаружил проблему или странное поведение. Сервер имеет 4x KIOXIA KCMYXRUG3T84 на AMD EPYC, подключается по PCIe 5 как положено. Запуск отдельной Windows Server VM на одном диске показывает скорость чтения около ~15 ГБ/с, что ожидаемо для этого диска. Клонирование машины на 4 диска и одновременный запуск того же теста показывает 15 ГБ/с для каждого диска. nmon сообщает об агрегированной скорости 55 ГБ/с на уровне гипервизора. Но если я объединяю 4 диска в какой-либо RAID (mdadm, тестировал уровни 0, 1, 10, 5), ZFS RAIDZ или LVM или комбинации их, даже в режиме директории, скорость чтения всегда равна или ниже 14 ГБ/с. Кажется, это проблема ядра или ограничение настройки, но пока я не нашел причину узкого места. Например, mdadm 4-дисковый RAID 0 (даже с размером чанка 1к), смонтированный как директория поверх ext4, с тестовой VM на нём — точно так же, как если бы я разделил один диск — даёт 15 ГБ/с. Диск настроен как IOThread, без кэша, асинхронный ввод-вывод: Native. Есть какие-нибудь идеи для достижения оптимальной производительности RAID или LVM? Текущие результаты: CrystalDiskMark тест Чтение (МБ/с) Запись (МБ/с) RAID 10 + LVM 13884 10182 RAID 10 + LVM Thin 7910 3049 RAID 1 + LVM 13131 6515 RAID 5 + Directory 1129 1106 ZFS mirror 7996 7765 ZFS RAID 10 7648 11445 ZFS RAIDZ 7915 11714 ZFS RAIDZ2 7918 6191 ZFS dRAID (2 DATA 1 SPARE) 7623 9542 ZFS на одном диске 7699 8682 ZFS на mdadm RAID0 7872 10338 ext4 на RAID0 Directory 16063 13764 ext4 на RAID1 Directory 15481 6120 ext4 на одном диске Directory 14962 7580 Спасибо!

fmoreira86

Guest

27.03.2025 18:43:00

Я не особо жалуюсь. Моя среда и сценарий использования обеспечивают хороший баланс между функциональностью и производительностью. Конечно, я не в восторге от существенного падения производительности — особенно учитывая, что каждый из моих NVMe накопителей может достигать 16 000 МБ/с, и я использую четыре из них в RAID 10 на каждом узле, а в итоге получаю примерно производительность одного накопителя. С другой стороны, у меня нет общего хранилища; вместо этого я полагаюсь на ZFS-репликацию по выделенному каналу 2x 25 Гбит/с (50 Гбит/с, так как это bond), так как я могу позволить себе несколько минут потери данных. В общем и целом, я останусь с ZFS — возможно, его производительность в мире NVMe улучшится в будущем.

alexskysilk

Guest

27.03.2025 18:59:00

Спасибо за подробный бенчмарк! По вашему вопросу, мне кажется, есть только два разумных способа использования хранилища: ZFS striping mirror (или два отдельных зеркала), mdadm striping mirror (или два отдельных зеркала). mdadm+lvm будет быстрее - известный факт. ZFS предлагает больше возможностей (inline compression, file level crc, snapshots, zfs send и т.д.). Это тоже известный факт. В конечном счете, вопрос не в том, "что оптимально" с точки зрения только MB/S, что и так не так уж и важно. Вопрос в том, "что должно предоставить хранилище".

fmoreira86

Guest

15.03.2025 00:45:00

У меня были похожие результаты, как у тебя, при использовании RAID 10 на моих накопителях Kioxia CM7 PCIe 5 (4 диска). В целом, я не могу жаловаться на производительность системы в реальных задачах. Но я бы хотел добиться большей производительности – может быть, когда ZFS 2.3.x появится в Proxmox с поддержкой прямого ввода-вывода.

ucholak Guest	#5 0 27.03.2025 17:34:00 Похоже, поддержка прямого ввода/вывода для ZVOL не будет реализована.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры