http://proxmox.su Новое в теме Mellanox Connect-x 6 Dx VirtIO и vDPA форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Thu, 09 Jul 2026 15:24:19 +0300 Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть какие-нибудь новости по этому поводу?
07.10.2023 04:09:00, hansaya.]]> http://proxmox.su/forum/messages/forum63/message340684/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340684/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Sat, 07 Oct 2023 04:09:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы можете написать мне на adres aderumier@odiso.com. Я спрашивал про ovs, потому что видел туториал RedHat без ovs и без моста, https://www.redhat.com/en/blog/hands-vdpa-what-do-you-do-when-you-aint-got-hardware.

Код:  
-netdev type=vhost-vdpa,vhostdev=/dev/vhost-vdpa-0,id=vhost-vdpa1 \  
-device virtio-net-pci,netdev=vhost-vdpa1,mac=00:e8:ca:33:ba:05,\  

Похоже, это режим vhost-vdpa https://patchwork.kernel.org/project/qemu-devel/patch/20200704182750.1088103-41-mst@redhat.com/, но, кажется, есть ещё два режима — vhost-kernel и vhost-user (возможно, для ovs).  

Попытаюсь на следующей неделе почитать документацию по qemu. Кстати, есть ещё режим vhost-user с использованием ovs.
22.06.2022 13:33:00, spirit.]]> http://proxmox.su/forum/messages/forum63/message340683/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340683/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Wed, 22 Jun 2022 13:33:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Spirit! Сначала рекомендую посмотреть несколько страниц из вики Mellanox. Вторая из них связана с устройством kernel vdpa:  
https://github.com/Mellanox/scalablefunctions/wiki  
https://github.com/Mellanox/scalablefunctions/wiki/Upstream-how-to-use-SF-kernel-vdpa-device  
https://github.com/Mellanox/scalablefunctions/wiki/Upstream-kernel-configuration  
https://github.com/Mellanox/scalablefunctions/wiki/Upstream-step-by-step-guide  

Что касается установки OFED, скачай последнюю iso с сайта Nvidia и установи необходимые пакеты:  
https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/  

Если хочешь, могу по почте прислать подробный туториал по тестированию SF на PVE7. Пока помни, что это очень экспериментально и нестабильно (работа в процессе)...
22.06.2022 10:07:00, auranext.]]> http://proxmox.su/forum/messages/forum63/message340682/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340682/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Wed, 22 Jun 2022 10:07:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У вас есть какая-нибудь документация или туториал по теме? (VDPA и mlnx scalable function) Мне любопытно, работает ли это только с OVS или также с linux bridge, virtio + vhost-net или virtio + vhost-user и так далее...
21.06.2022 20:01:00, spirit.]]> http://proxmox.su/forum/messages/forum63/message340681/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340681/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Tue, 21 Jun 2022 20:01:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я попробовал это, и моя проблема решилась.
18.06.2022 18:52:00, johnmarkos.]]> http://proxmox.su/forum/messages/forum63/message340680/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340680/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Sat, 18 Jun 2022 18:52:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Я работаю с гипервизорами Proxmox уже несколько лет: версии 5.3, 6.2 и сейчас 7.x. Поскольку мы виртуализируем роутеры, постоянно ищем способы улучшить производительность обработки пакетов. После некоторых исследований мы решили сосредоточиться на аппаратном ускорении на базе Mellanox ConnectX-5 и 6.

Для этого мы установили карту ConnectX-6 в сервер HPE DL360Gen10 (16 ядер, 768 ГБ ОЗУ), обновили ядро до pve-kernel-5.15.x и скомпилировали MLNX-OFED 5.x. Сначала мы реализовали SR-IOV с интерфейсом-представителем (representor) на узле PVE7 (режим eswitch). Это просто развернуть и очень производительно, но не поддерживает горячее подключение и плохо масштабируется — максимум 256 виртуальных функций (Mellanox приукрашивает технические характеристики своих карт). Тем не менее, если для кого-то такие ограничения приемлемы, конфигурация вполне рабочая, и разгрузка с помощью tc отрабатывает отлично (на гипервизоре вообще нет прерываний!).

Еще один важный момент: гостевая ОС должна поддерживать драйвер mlx5. Из-за этих ограничений сейчас мы исследуем другую конфигурацию на базе VDPA и масштабируемых функций Mellanox.

Пока я сделал proof of concept — могу сказать, что работает, гостевая ОС использует драйвер virtio, всё полностью прозрачно. Но пока рано что-то утверждать, так как возникают проблемы со стабильностью ядра, а документация и инструкции либо очень скудны, либо просто отсутствуют. Поскольку у меня мало времени, а потребность в обработке пакетов только растёт, я ищу партнёра для продолжения этой работы.

Тема большая и экспериментальная, как только будут более чёткие результаты — опубликую. Пишите в личку, если хотите обсудить. ++
10.06.2022 14:50:00, auranext.]]> http://proxmox.su/forum/messages/forum63/message340679/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340679/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Fri, 10 Jun 2022 14:50:00 +0300 Proxmox Виртуальная Среда Mellanox Connect-x 6 Dx VirtIO и vDPA Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Интересно, поддерживает ли Proxmox VE аппаратное ускорение virtIO или планируется ли его поддержка в ближайшем будущем? Сетевая карта Mellanox Connect-x 6 Dx умеет работать с этой функцией. Есть какие-нибудь документы, где можно почитать, как это настроить?
07.06.2021 10:29:00, Joe Botha.]]> http://proxmox.su/forum/messages/forum63/message340678/79702-mellanox-connect_x-6-dx-virtio-i-vdpa http://proxmox.su/forum/messages/forum63/message340678/79702-mellanox-connect_x-6-dx-virtio-i-vdpa Mon, 07 Jun 2021 10:29:00 +0300 Proxmox Виртуальная Среда