Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Proxmox и Intel Optane DCPMM

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Proxmox и Intel Optane DCPMM, Proxmox Виртуальная Среда
     
    elter
    Guest
    #1
    0
    19.04.2021 17:00:00
    Привет всем! Я новичок в ProxMox и пытаюсь разобраться, как разумно передавать блочные устройства DCPMM (режим AppDirect) виртуальным машинам. Использую последнюю версию ProxMox (6.3-2). В общем, ищу "proxmox-way" реализации, следуя этой инструкции: https://software.intel.com/content/...dc-persistent-memory-for-kvm-qemu-guests.html Стоит ли попробовать добавлять параметры QEMU "object" в файлы конфигурации виртуальных машин в /etc/pve/qemu-server/? Спасибо заранее!
     
     
     
    bung69
    Guest
    #2
    0
    28.11.2024 18:37:00
    Привет, продвинулся ли ты что-нибудь в этом вопросе? Повезло ли скомпилировать с `--enable-libpmem` и запустить VM с аргументами pmem=on для работы миграции? Спасибо.
     
     
     
    bung69
    Guest
    #3
    0
    07.12.2024 18:34:00
    Обновление для меня в будущем и для всех, кто заинтересован в Optane PMem. pve-qemu компилируется с `--enable-libpmem` по умолчанию. Если пространства имен являются fsdax или dax, то выравнивание в 2 МБ и передача в VM, выровненные до 128 МБ, позволяют достичь нативной производительности. Я следовал https://nvdimm.docs.kernel.org/2mib_fs_dax.html. Rocky Linux (и я предполагаю, Red Hat) можно загрузить с переданного NVdimm, если тип переданного пространства имен изменен на sector. Может работать и с типом Raw, так как это тоже было обнаружено в установщике Rocky Linux GUI. Я решил разместить разделы Boot и EFI на обычном qemu диске, так как не смог заставить OVMF загружать NVdimm напрямую.

    Результаты тестов с помощью FIO, используя этот bash-скрипт: https://gist.github.com/dullage/7e7f7669ade208885314f83b1b3d6999

    Реальное оборудование: hpe dl380 gen10 xeon gold 6230 2x 256g optane pmem dcpmm 100 interleaved, app direct. fdax пространство имен с размером сектора 512 xfs смонтировано с dax.

    *   **Последовательное чтение:** 2929 МБ/с IOPS=11
    *   **Последовательная запись:** 3359 МБ/с IOPS=13
    *   **512 КБ чтение:** 3333 МБ/с IOPS=6666
    *   **512 КБ запись:** 3798 МБ/с IOPS=7596
    *   **Последовательное Q32T1 чтение:** 2929 МБ/с IOPS=366
    *   **Последовательная Q32T1 запись:** 3386 МБ/с IOPS=423
    *   **4 КБ чтение:** 1534 МБ/с IOPS=392901
    *   **4 КБ запись:** 1462 МБ/с IOPS=374491
    *   **4 КБ Q32T1 чтение:** 1527 МБ/с IOPS=391026
    *   **4 КБ Q32T1 запись:** 1064 МБ/с IOPS=272385
    *   **4 КБ Q8T8 чтение:** 9306 МБ/с IOPS=2382414
    *   **4 КБ Q8T8 запись:** 1350 МБ/с IOPS=345745

    fdax пространство имен передано в VM Fedora с монтированием Dax.

    *   **Последовательное чтение:** 548 МБ/с IOPS=4
    *   **Последовательная запись:** 219 МБ/с IOPS=1
    *   **512 КБ чтение:** 891 МБ/с IOPS=1782
    *   **512 КБ запись:** 217 МБ/с IOPS=434
    *   **Последовательное Q32T1 чтение:** 1178 МБ/с IOPS=294
    *   **Последовательная Q32T1 запись:** 222 МБ/с IOPS=55
    *   **4 КБ чтение:** 79 МБ/с IOPS=20467
    *   **4 КБ запись:** 84 МБ/с IOPS=21504
    *   **4 КБ Q32T1 чтение:** 230 МБ/с IOPS=58977
    *   **4 КБ Q32T1 запись:** 149 МБ/с IOPS=38235
    *   **4 КБ Q8T8 чтение:** 697 МБ/с IOPS=178685
    *   **4 КБ Q8T8 запись:** 174 МБ/с IOPS=44784

    fdax пространство имен передано в VM Fedora с монтированием Dax 2M выровнено.

    *   **Последовательное чтение:** 2723 МБ/с IOPS=10
    *   **Последовательная запись:** 3192 МБ/с IOPS=12
    *   **512 КБ чтение:** 3820 МБ/с IOPS=7641
    *   **512 КБ запись:** 3565 МБ/с IOPS=7130
    *   **Последовательное Q32T1 чтение:** 2770 МБ/с IOPS=346
    *   **Последовательная Q32T1 запись:** 3176 МБ/с IOPS=397
    *   **4 КБ чтение:** 1534 МБ/с IOPS=392901
    *   **4 КБ запись:** 1348 МБ/с IOPS=345289
    *   **4 КБ Q32T1 чтение:** 1557 МБ/с IOPS=398637
    *   **4 КБ Q32T1 запись:** 975 МБ/с IOPS=249756
    *   **4 КБ Q8T8 чтение:** 9433 МБ/с IOPS=2414965
    *   **4 КБ Q8T8 запись:** 1268 МБ/с IOPS=324658

    devdax пространство имен передано в VM Fedora с монтированием Dax 2M выровнено.

    *   **Последовательное чтение:** 2869 МБ/с IOPS=11
    *   **Последовательная запись:** 3224 МБ/с IOPS=12
    *   **512 КБ чтение:** 3798 МБ/с IOPS=7596
    *   **512 КБ запись:** 3595 МБ/с IOPS=7191
    *   **Последовательное Q32T1 чтение:** 2949 МБ/с IOPS=368
    *   **Последовательная Q32T1 запись:** 3240 МБ/с IOPS=405
    *   **4 КБ чтение:** 1559 МБ/с IOPS=399123
    *   **4 КБ запись:** 1551 МБ/с IOPS=397187
    *   **4 КБ Q32T1 чтение:** 1568 МБ/с IOPS=401568
    *   **4 КБ Q32T1 запись:** 1012 МБ/с IOPS=259240
    *   **4 КБ Q8T8 чтение:** 9366 МБ/с IOPS=2397834
    *   **4 КБ Q8T8 запись:** 1326 МБ/с IOPS=339499

    devdax пространство имен передано в Rocky VM с монтированием Dax 2M выровнено. rocky установлен на root с EFI и boot на qemu диске.

    *   **Последовательное чтение:** 2869 МБ/с IOPS=11
    *   **Последовательная запись:** 925 МБ/с IOPS=3
    *   **512 КБ чтение:** 2863 МБ/с IOPS=5727
    *   **512 КБ запись:** 930 МБ/с IOPS=1861
    *   **Последовательное Q32T1 чтение:** 2929 МБ/с IOPS=366
    *   **Последовательная Q32T1 запись:** 928 МБ/с IOPS=116
    *   **4 КБ чтение:** 1025 МБ/с IOPS=262564
    *   **4 КБ запись:** 663 МБ/с IOPS=169870
    *   **4 КБ Q32T1 чтение:** 1207 МБ/с IOPS=309132
    *   **4 КБ Q32T1 запись:** 655 МБ/с IOPS=167782
    *   **4 КБ Q8T8 чтение:** 7107 МБ/с IOPS=1819621
    *   **4 КБ Q8T8 запись:** 1326 МБ/с IOPS=339499
     
     
     
    LnxBil
    Guest
    #4
    0
    09.12.2024 00:11:00
    Спасибо, что ответили. Мне было бы интересно узнать о задержке ввода-вывода. Можете ли вы уточнить у ioping?
     
     
     
    bung69
    Guest
    #5
    0
    09.12.2024 12:29:00
    Без проблем. Вот несколько вариантов, которые, как мне кажется, наиболее релевантны. Могу сделать ещё, если тебе что-то конкретное интересно. Хоть я и не пробовал, но думаю, установить Rocky на Fdax или raw namespace для повышения производительности вполне возможно. Пожалуйста, воспринимай результаты с огромной долей скепсиса, так как я толком не знаю, что делаю. Настройки контроллера BIOS памяти для модулей Optane оптимизированы для низкой задержки, а не для пропускной способности. Fdax namespace с размером сектора 512, XFS смонтирован с Dax 2M, выровнен на хосте Proxmox.

    Код: --- . (xfs /dev/pmem0.2 147.6 GiB) ioping statistics ---
    23 запроса завершены за 338.2 мс, прочитано 92 КБ, 68.0 к IOPS, 265.6 МБ/с
    сгенерировано 24 запроса за 23.8 с, 96 КБ, 1 IOPS, 4.04 КБ/с
    min/avg/max/mdev = 6.42 мс / 14.7 мс / 25.7 мс / 3.08 мс

    Fdax namespace передан Rocky VM с монтированием Dax 2M, выровненным.

    Код: --- . (xfs /dev/pmem0 98.2 GiB) ioping statistics ---
    23 запроса завершены за 415.8 мс, прочитано 92 КБ, 55.3 к IOPS, 216.1 МБ/с
    сгенерировано 24 запроса за 23.9 с, 96 КБ, 1 IOPS, 4.02 КБ/с
    min/avg/max/mdev = 7.88 мс / 18.1 мс / 28.3 мс / 5.93 мс

    devdax namespace передан Rocky VM с пространством имен секторов. Rocky установлен на root с EFI и загрузкой на qemu диск.

    Код: --- . (xfs /dev/pmem1s1 49.7 GiB) ioping statistics ---
    28 запросов завершены за 2.03 мс, прочитано 112 КБ, 13.8 к IOPS, 53.8 МБ/с
    сгенерировано 29 запросов за 28.6 с, 116 КБ, 1 IOPS, 4.05 КБ/с
    min/avg/max/mdev = 30.6 мс / 72.6 мс / 89.5 мс / 16.8 мс
     
     
     
    LnxBil
    Guest
    #6
    0
    09.12.2024 17:16:00
    Спасибо. 15µs — это быстро, пропускная способность была не очень хорошей по сравнению с современными NVMe, но я надеялся, что задержка будет низкой, и так оно и есть.
     
     
     
    bung69
    Guest
    #7
    0
    09.12.2024 18:24:00
    Да, я удивился, что пропускная способность такая низкая, хотя с более высокой Q и Threads вроде неплохо. Попробую еще с настройкой оптимизации полосы пропускания в BIOS. Кстати, тут только 2 интерлинованные DIMM. Я облажался, купил 256GB DIMM до того, как понял, что для максимальной полосы пропускания нужен CPU типа M или L. Пока не нашел недорогой CPU M или L с сопоставимой одноядерной производительностью по сравнению с 6230. Если получится настроить проброс или, еще лучше, загрузку Windows VM и сделать резервное копирование, то, вероятно, возьму 6x (а может, и 12x с dual CPU) 128GB DIMM для увеличения полосы пропускания.
     
     
     
    bung69
    Guest
    #8
    0
    10.12.2024 00:56:00
    Изменение настройки BIOS с "latancy optimissed" на "bandwith optimsed" оказало довольно заметное влияние. Хотя я и не понимаю, почему чтение 256M ухудшилось.

    Code: 256m Sequential Read: 1344MB/s IOPS=5
    256m Sequential Write: 5493MB/s IOPS=21

    512KB Read: 8258MB/s IOPS=16516
    512KB Write: 10240MB/s IOPS=20480

    8m Sequential Q32T1 Read: 5355MB/s IOPS=669
    8m Sequential Q32T1 Write: 6037MB/s IOPS=754

    4KB Read: 1212MB/s IOPS=310303
    4KB Write: 777MB/s IOPS=199076

    4KB Q32T1 Read: 1430MB/s IOPS=366122
    4KB Q32T1 Write: 784MB/s IOPS=200907

    4KB Q8T8 Read: 3852MB/s IOPS=986201
    4KB Q8T8 Write: 1691MB/s IOPS=432994
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры