Proxmox и Intel Optane DCPMM, Proxmox Виртуальная Среда
elter
Guest
0
19.04.2021 17:00:00
Привет всем! Я новичок в ProxMox и пытаюсь разобраться, как разумно передавать блочные устройства DCPMM (режим AppDirect) виртуальным машинам. Использую последнюю версию ProxMox (6.3-2). В общем, ищу "proxmox-way" реализации, следуя этой инструкции: Стоит ли попробовать добавлять параметры QEMU "object" в файлы конфигурации виртуальных машин в /etc/pve/qemu-server/? Спасибо заранее!
bung69
Guest
0
28.11.2024 18:37:00
Привет, продвинулся ли ты что-нибудь в этом вопросе? Повезло ли скомпилировать с `--enable-libpmem` и запустить VM с аргументами pmem=on для работы миграции? Спасибо.
bung69
Guest
0
07.12.2024 18:34:00
Обновление для меня в будущем и для всех, кто заинтересован в Optane PMem. pve-qemu компилируется с `--enable-libpmem` по умолчанию. Если пространства имен являются fsdax или dax, то выравнивание в 2 МБ и передача в VM, выровненные до 128 МБ, позволяют достичь нативной производительности. Я следовал . Rocky Linux (и я предполагаю, Red Hat) можно загрузить с переданного NVdimm, если тип переданного пространства имен изменен на sector. Может работать и с типом Raw, так как это тоже было обнаружено в установщике Rocky Linux GUI. Я решил разместить разделы Boot и EFI на обычном qemu диске, так как не смог заставить OVMF загружать NVdimm напрямую.
Результаты тестов с помощью FIO, используя этот bash-скрипт:
Реальное оборудование: hpe dl380 gen10 xeon gold 6230 2x 256g optane pmem dcpmm 100 interleaved, app direct. fdax пространство имен с размером сектора 512 xfs смонтировано с dax.
Спасибо, что ответили. Мне было бы интересно узнать о задержке ввода-вывода. Можете ли вы уточнить у ioping?
bung69
Guest
0
09.12.2024 12:29:00
Без проблем. Вот несколько вариантов, которые, как мне кажется, наиболее релевантны. Могу сделать ещё, если тебе что-то конкретное интересно. Хоть я и не пробовал, но думаю, установить Rocky на Fdax или raw namespace для повышения производительности вполне возможно. Пожалуйста, воспринимай результаты с огромной долей скепсиса, так как я толком не знаю, что делаю. Настройки контроллера BIOS памяти для модулей Optane оптимизированы для низкой задержки, а не для пропускной способности. Fdax namespace с размером сектора 512, XFS смонтирован с Dax 2M, выровнен на хосте Proxmox.
Спасибо. 15µs — это быстро, пропускная способность была не очень хорошей по сравнению с современными NVMe, но я надеялся, что задержка будет низкой, и так оно и есть.
bung69
Guest
0
09.12.2024 18:24:00
Да, я удивился, что пропускная способность такая низкая, хотя с более высокой Q и Threads вроде неплохо. Попробую еще с настройкой оптимизации полосы пропускания в BIOS. Кстати, тут только 2 интерлинованные DIMM. Я облажался, купил 256GB DIMM до того, как понял, что для максимальной полосы пропускания нужен CPU типа M или L. Пока не нашел недорогой CPU M или L с сопоставимой одноядерной производительностью по сравнению с 6230. Если получится настроить проброс или, еще лучше, загрузку Windows VM и сделать резервное копирование, то, вероятно, возьму 6x (а может, и 12x с dual CPU) 128GB DIMM для увеличения полосы пропускания.
bung69
Guest
0
10.12.2024 00:56:00
Изменение настройки BIOS с "latancy optimissed" на "bandwith optimsed" оказало довольно заметное влияние. Хотя я и не понимаю, почему чтение 256M ухудшилось.