+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Proxmox 7 и Mellanox ConnectX4 с поддержкой vlan-aware моста, Proxmox Виртуальная Среда

VictorSTS

Guest

14.02.2022 18:41:00

Привет! Я настраиваю новый кластер с использованием сетевых карт Mellanox ConnectX5 и Connect4LX. С ConnectX5 проблем пока не было (тьфу-тьфу), а вот 4LX работают не так идеально. После того как я решил проблему с очень долгой загрузкой, связанную со старой версией прошивки, теперь, похоже, я не смогу использовать больше 512 vlan’ов в vlan-aware мосту. При загрузке такого сервера я получаю кучу сообщений: «netdev vlans list size (XXXX) > (512) max vport list size, некоторые vlan’ы будут отброшены». Насколько я понимаю, можно ограничить поддерживаемые vlan’ы в мосту, настроив параметр bridge-vids в /etc/network/interfaces, но, возможно, у кого-то есть больше опыта с этим железом и он знает, как увеличить этот лимит, чтобы покрыть весь диапазон vlan’ов. Пока мне это не особо нужно, но было бы полезно знать. Заранее спасибо!

Tactoad

Guest

28.10.2022 12:25:00

Мы столкнулись с той же проблемой с нашими картами ConnectX-6 Lx. Решение — отключить фильтрацию VLAN с помощью опции ethtool "rx-vlan-filter off". Чтобы сделать эту настройку постоянной, добавьте строку "pre-up ethtool -K $IFACE rx-vlan-filter off" (без кавычек) в параметры интерфейса в файле /etc/network/interfaces. Работает как с драйверами из коробки, так и с OFED. Исправление пришло напрямую от инженеров Mellanox/Nvidia.

1ONE Guest	#3 0 08.05.2023 09:47:00 Привет, у меня такая же проблема с Mellanox. Как у тебя выглядит файл /etc/network/interfaces? Я добавил строку: pre-up ethtool -K $IFACE rx-vlan-filter off, но это не работает. Спасибо, Иван.

jsterr Guest	#4 0 08.05.2023 09:50:00 Вот как мы это делаем! Код: sed -i 's/bridge-vids 2-4094/bridge-vids 2-512/' /etc/network/interfaces Будьте осторожны, это ограничит все мосты использовать VLAN только в диапазоне от 2 до 512 (максимальное число VLAN для этой карты).

VictorSTS

Guest

11.05.2023 10:46:00

Где ты это используешь? Если я правильно помню, $IFACE заменяется на имя интерфейса, который сейчас обрабатывается, так что если ты вставишь эту строку прямо в настройки бриджа, ты как бы отключишь vlan offload в самом бридже, но на самом деле это нужно делать на физическом интерфейсе. Либо ограничь разрешённые vlan, как показывал jsterr выше, либо явно укажи имя интерфейса в директиве pre-up. Ах да, и если у тебя ещё есть bonding, то для каждого физического интерфейса, входящего в бридж, тоже нужно использовать директиву pre-up!

Xedon Guest	#6 0 06.06.2023 11:18:00 Кто-нибудь смог отключить аппаратное VLAN-оффлоадинг?

recoco Guest	#7 0 13.08.2023 15:20:00 Пробовали использовать Mellanox MLNX_OFED? Вот документ: https://docs.nvidia.com/networking/display/MLNXOFEDv461000/Introduction

iffster Guest	#8 0 04.10.2023 09:29:00 Пожалуйста, вставьте текст для перевода.

iffster Guest	#9 0 04.10.2023 09:30:00 Соблюдайте лимит VLAN и обновите прошивку сетевой карты до последней версии (решило все проблемы — время загрузки и прохождение пакетов через VLAN-aware мост).

daviditty

Guest

#10

19.12.2023 14:22:00

@iffster решил проблему, то есть всё работает нормально, и можно не обращать внимания на это сообщение? mlx5e_vport_context_update_vlans:186 pid 1448): размер списка VLAN на netdev (4095) больше (512) — максимального размера списка vport, часть VLAN будет отброшена. Меня устраивает ограничение в 512 VLAN на хост, хотя сообщение немного напрягает, но, по всей видимости, действительно всё работает. Мне нужны VLAN с тегами выше 512, просто не больше 512 штук всего. Карта работала на версии 14.28.2006 — тогда предупреждений не было, а с 14.32.1010 появилось это сообщение, но, похоже, всё функционирует нормально.

jsterr Guest	#11 0 19.12.2023 15:19:00 Вы также можете настроить VLANы в файле согласно своим потребностям, например: bridge-vids 2-10 100 124 1000 должно работать, согласно документации: https://manpages.ubuntu.com/manpages/jammy/en/man5/interfaces-bridge.5.html

daviditty Guest	#12 0 19.12.2023 15:39:00 Я в курсе, но это значит много работы при создании нового VLAN для клиента: мне нужно будет не только настроить коммутаторы, но и все хосты, которые будут его использовать. Однако, насколько я вижу, всё работает нормально: командой Bash: bridge vlan show vmbrX я вижу все VLAN, которые реально используются виртуальными машинами, а не весь диапазон с 2 по 4094, как обычно. Значит, ядро на лету программирует бридж с нужными VLAN. Учтите, что я объединяю два порта в bonding и поверх этого использую бридж.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры