Привет! Я работаю с гипервизорами Proxmox уже несколько лет: версии 5.3, 6.2 и сейчас 7.x. Поскольку мы виртуализируем роутеры, постоянно ищем способы улучшить производительность обработки пакетов. После некоторых исследований мы решили сосредоточиться на аппаратном ускорении на базе Mellanox ConnectX-5 и 6.

Для этого мы установили карту ConnectX-6 в сервер HPE DL360Gen10 (16 ядер, 768 ГБ ОЗУ), обновили ядро до pve-kernel-5.15.x и скомпилировали MLNX-OFED 5.x. Сначала мы реализовали SR-IOV с интерфейсом-представителем (representor) на узле PVE7 (режим eswitch). Это просто развернуть и очень производительно, но не поддерживает горячее подключение и плохо масштабируется — максимум 256 виртуальных функций (Mellanox приукрашивает технические характеристики своих карт). Тем не менее, если для кого-то такие ограничения приемлемы, конфигурация вполне рабочая, и разгрузка с помощью tc отрабатывает отлично (на гипервизоре вообще нет прерываний!).

Еще один важный момент: гостевая ОС должна поддерживать драйвер mlx5. Из-за этих ограничений сейчас мы исследуем другую конфигурацию на базе VDPA и масштабируемых функций Mellanox.

Пока я сделал proof of concept — могу сказать, что работает, гостевая ОС использует драйвер virtio, всё полностью прозрачно. Но пока рано что-то утверждать, так как возникают проблемы со стабильностью ядра, а документация и инструкции либо очень скудны, либо просто отсутствуют. Поскольку у меня мало времени, а потребность в обработке пакетов только растёт, я ищу партнёра для продолжения этой работы.

Тема большая и экспериментальная, как только будут более чёткие результаты — опубликую. Пишите в личку, если хотите обсудить. ++

У вас есть какая-нибудь документация или туториал по теме? (VDPA и mlnx scalable function) Мне любопытно, работает ли это только с OVS или также с linux bridge, virtio + vhost-net или virtio + vhost-user и так далее...

Вы можете написать мне на adres aderumier@odiso.com. Я спрашивал про ovs, потому что видел туториал RedHat без ovs и без моста, https://www.redhat.com/en/blog/hands-vdpa-what-do-you-do-when-you-aint-got-hardware.

Код:  
-netdev type=vhost-vdpa,vhostdev=/dev/vhost-vdpa-0,id=vhost-vdpa1 \  
-device virtio-net-pci,netdev=vhost-vdpa1,mac=00:e8:ca:33:ba:05,\  

Похоже, это режим vhost-vdpa https://patchwork.kernel.org/project/qemu-devel/patch/20200704182750.1088103-41-mst@redhat.com/, но, кажется, есть ещё два режима — vhost-kernel и vhost-user (возможно, для ovs).  

Попытаюсь на следующей неделе почитать документацию по qemu. Кстати, есть ещё режим vhost-user с использованием ovs.