+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ошибка I40E_AQ_RC_ENOSPC, заставляет переполнять promiscuous на PF, Proxmox Виртуальная Среда

syfy323

Guest

06.01.2020 14:57:00

Привет! Свежая установка на Supermicro X11DPi-N(T) с Proxmox v6.1. Это сообщение бесконечно прокручивается в логах и загружает одно ядро: [ 911.977646] i40e 0000:60:00.1: Error I40E_AQ_RC_ENOSPC, forcing overflow promiscuous on PF [ 955.642636] i40e 0000:60:00.1: Error I40E_AQ_RC_ENOSPC adding RX filters on PF, promiscuous mode forced on Интересно, что PCI-адрес принадлежит одному из двух каналов в агрегированном соединении. Порт не подключен / неактивен (NO-CARRIER). Примерно через 20 минут логирование прекратилось и нагрузка вернулась к нормальному уровню. Этот баг-репорт связывает проблему с VLAN: https://sourceforge.net/p/e1000/bugs/575/ Действительно, я использую VLAN, а точнее QinQ. Не смог найти какие-либо настройки для корректировки, какие есть идеи? С уважением, Kevin

Vandros Guest	#2 0 27.11.2023 09:02:00 Тоже самое. PVE 8.1.3, Supermicro X11DPi-NT, Intel X722, linux bridge с поддержкой vlan: ядро: i40e 0000:b5:00.1: Ошибка I40E_AQ_RC_ENOSPC, заставляю переполнять promiscuous на PF https://forum.proxmox.com/threads/e...-overflow-promiscuous-on-pf.62875/post-435354 - не помогло.

syfy323 Guest	#3 0 28.01.2020 16:54:00 Похоже, ты дал ссылку на баг-трекер. Просто текст сообщения из этой ссылки не предоставлен. Не могу перевести то, чего нет.

WhosTheBosch

Guest

11.04.2020 07:32:00

У меня была такая же ошибка. Изучив отчет об ошибке, я изменил VLAN, оставив только те, которые действительно нужны, и проблема исчезла. У меня материнская плата Supermicro X11SPM-TF. Так что, я согласен с отчетом об ошибке, что это связано с возможностями VLAN оборудования X722.

Код: `lspci | egrep -i --color 'network|ethernet'`
`b5:00.0 Ethernet controller: Intel Corporation Ethernet Connection X722 for 10GBASE-T (rev 08)`
`b5:00.1 Ethernet controller: Intel Corporation Ethernet Connection X722 for 10GBASE-T (rev 08)`

Код: `ethtool -k eno1`
Особенности для eno1:
rx-checksumming: on
tx-checksumming: on
tx-checksum-ipv4: on
tx-checksum-ip-generic: off [исправлено]
tx-checksum-ipv6: on
tx-checksum-fcoe-crc: off [исправлено]
tx-checksum-sctp: on
scatter-gather: on
tx-scatter-gather: on
tx-scatter-gather-fraglist: off [исправлено]
tcp-segmentation-offload: on
tx-tcp-segmentation: on
tx-tcp-ecn-segmentation: on
tx-tcp-mangleid-segmentation: off
tx-tcp6-segmentation: on
udp-fragmentation-offload: off
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [исправлено]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on
rx-vlan-filter: on [исправлено]
vlan-challenged: off [исправлено]
tx-lockless: off [исправлено]
netns-local: off [исправлено]
tx-gso-robust: off [исправлено]
tx-fcoe-segmentation: off [исправлено]
tx-gre-segmentation: on
tx-gre-csum-segmentation: on
tx-ipxip4-segmentation: on
tx-ipxip6-segmentation: on
tx-udp_tnl-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-sctp-segmentation: off [исправлено]
tx-esp-segmentation: off [исправлено]
tx-udp-segmentation: off [исправлено]
fcoe-mtu: off [исправлено]
tx-nocache-copy: off
loopback: off [исправлено]
rx-fcs: off [исправлено]
rx-all: off [исправлено]
tx-vlan-stag-hw-insert: off [исправлено]
rx-vlan-stag-hw-parse: off [исправлено]
rx-vlan-stag-filter: off [исправлено]
l2-fwd-offload: off
hw-tc-offload: on
esp-hw-offload: off [исправлено]
esp-tx-csum-hw-offload: off [исправлено]
rx-udp_tunnel-port-offload: on
tls-hw-tx-offload: off [исправлено]
tls-hw-rx-offload: off [исправлено]
rx-gro-hw: off [исправлено]
tls-hw-record: off [исправлено]

Примечание: я установил ifupdown2.

Полная конфигурация:

Код: `auto lo`
`iface lo inet loopback`

`iface eno1 inet manual`

`iface eno2 inet manual`

`auto bond0`
`iface bond0 inet manual`
`bond-slaves eno1 eno2`
`bond-miimon 100`
`bond-mode 802.3ad`
`bond_xmit_has_policy layer2+3`
`bond_lacp_rate 1`

`auto vmbr0`
`iface vmbr0 inet manual`
`bridge-ports bond0`
`bridge-stp off`
`bridge-fd 0`
`bridge-vlan-aware yes`
`bridge-vids 10 20`

`auto vmbr0.10`
`iface vmbr0.10 inet static`
`address 192.168.10.10/24`
`gateway 192.168.10.1`

WhosTheBosch

Guest

11.04.2020 07:59:00

Что я заметил, это странно: версия драйвера i40e не была указана на сайте Intel. Код: 2.10.19.82 (последняя)
2.10.19.30
2.9.21
2.8.43
2.7.29
2.7.26
2.7.12
2.7.11 Код: lscip -nk
b5:00.0 0200: 8086:37d2 (rev 08)
Subsystem: 15d9:37d2
Kernel driver in use: i40e
Kernel modules: i40e
b5:00.1 0200: 8086:37d2 (rev 08)
Subsystem: 15d9:37d2
Kernel driver in use: i40e
Kernel modules: i40e Код: modinfo i40e | grep -i version
version: 2.8.20-k
srcversion: 61EE7A7018ED9599D5BADBB
vermagic: 5.3.18-3-pve SMP mod_unload modversions[CODE]

dirtyfreebooter

Guest

10.12.2020 19:06:00

Я тоже это вижу. Но я изменил конфигурацию сети, чтобы в /etc/network/interfaces через опцию bridge-vids указывались только те VLAN, которые меня интересуют, а не все. Это после того, как в баге Proxmox упомянули, что у X710 ограниченные ресурсы VLAN. И я не видел этой проблемы уже несколько часов... по крайней мере. Время покажет. Код: auto vmbr0
iface vmbr0 inet static
address 192.168.1.3/24
gateway 192.168.1.1
bridge-ports enp1s0f0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 42 69. У меня еще была карта с последней прошивкой, что не самые новые драйвера для Proxmox и ядра 5.4, но я не пробовал и не хочу возиться с установкой последней версии драйвера с сайта Intel (v3.3.x). Код: [ 1.342348] i40e: Intel® Ethernet Connection XL710 Network Driver - version 2.8.20-k
[ 1.347833] i40e: Copyright © 2013 - 2019 Intel Corporation.
[ 1.418697] i40e 0000:01:00.0: fw 8.13.63341 api 1.12 nvm 8.15 0x80009507 1.1853.0 [8086:1572] [8086:0000]
[ 1.423476] i40e 0000:01:00.0: The driver for the device detected a newer version of the NVM image v1.12 than expected v1.9. Please install the most recent version of the network driver.

flexyz

Guest

18.01.2021 15:01:00

Привет! У меня похожая проблема, но с сетью вроде бы все в порядке, не нравятся логи:

```
# modinfo i40e | grep -i version
version: 2.8.20-k
srcversion: B1FBC8992487C269EA33AA4
vermagic: 5.4.78-2-pve SMP mod_unload modversions Jan 18 13:35:05 jupiter
kernel: [ 11.664705] i40e: Intel® Ethernet Connection XL710 Network Driver - version 2.8.20-k
Jan 18 13:35:05 jupiter
kernel: [ 11.665165] xhci_hcd 0000:00:14.0: xHCI Host Controller
Jan 18 13:35:05 jupiter
kernel: [ 11.665176] xhci_hcd 0000:00:14.0: new USB bus registered, assigned bus number 1
Jan 18 13:35:05 jupiter
kernel: [ 11.667396] xhci_hcd 0000:00:14.0: hcc params 0x200077c1 hci version 0x100 quirks 0x0000000000009810
Jan 18 13:35:05 jupiter
kernel: [ 11.667458] xhci_hcd 0000:00:14.0: cache line size of 32 is not supported
Jan 18 14:44:27 jupiter kernel: [ 145.060365] i40e 0000:3d:00.0: Error I40E_AQ_RC_ENOSPC, forcing overflow promiscuous on PF
Jan 18 14:44:27 jupiter kernel: [ 145.060584] i40e 0000:3d:00.0: Error I40E_AQ_RC_ENOSPC, forcing overflow promiscuous on PF
Jan 18 14:44:27 jupiter kernel: [ 145.060819] i40e 0000:3d:00.0: Error I40E_AQ_RC_ENOSPC, forcing overflow promiscuous on PF
Jan 18 14:44:27 jupiter kernel: [ 145.061119] i40e 0000:3d:00.0: Error I40E_AQ_RC_ENOSPC adding RX filters on PF, promiscuous mode forced on
Jan 18 14:44:27 jupiter kernel: [ 145.063400] i40e 0000:3d:00.1: Error I40E_AQ_RC_ENOSPC adding RX filters on PF, promiscuous mode forced on
```

Какие мысли?

Martin Verges Guest	#8 0 18.01.2021 16:49:00 Просто установите "offload-rx-vlan-filter off" в конфигурации вашего bond, чтобы решить проблему. Оборудование не справляется с этим.

flexyz Guest	#9 0 18.01.2021 17:09:00 Круто, попробую - так проблема в том, что Nics не справляются? Я ещё попробовал другой Nic с SFP+, та же проблема. Спасибо!

flexyz

Guest

#10

18.01.2021 17:20:00

Я всё ещё вижу это в dmesg: 26.648130] Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) [ 26.651855] bonding: bond0 создаётся... [ 26.732023] IPv6: ADDRCONF(NETDEV_CHANGE): eno2: соединение готово [ 26.732935] i40e 0000:3d:00.0 eno1: уже использует MAC-адрес a4:bf:01:86:15:5b [ 26.767216] irq 61: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.768149] irq 62: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.768949] irq 63: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.769599] irq 64: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.770234] irq 65: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.770887] irq 66: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.771563] irq 67: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.772218] irq 68: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.772825] irq 69: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.773419] irq 70: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.774015] irq 71: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.774600] irq 72: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.775228] irq 73: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.775822] irq 74: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.776411] irq 75: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.776985] irq 76: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.777678] irq 93: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.778230] irq 94: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.778758] irq 95: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.779329] irq 96: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.779854] irq 97: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.780366] irq 98: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.780889] irq 99: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.781379] irq 100: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.781867] irq 101: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.782351] irq 102: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.782813] irq 103: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.783329] irq 112: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.783773] irq 113: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.784211] irq 114: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.784664] irq 115: Аффинити нарушено из-за исчерпания пространства векторов. [ 26.785107] bond0: (slave eno2) включён как резервный интерфейс с активным соединением [ 26.907560] IPv6: ADDRCONF(NETDEV_CHANGE): bond0: соединение готово [ 26.933296] vmbr0: порт 1(bond0) вошёл в состояние блокировки [ 26.933576] vmbr0: порт 1(bond0) вошёл в состояние отключения [ 26.933940] устройство bond0 вошло в режим вседопуска [ 26.934194] устройство eno1 вошло в режим вседопуска [ 26.934463] устройство eno2 вошло в режим вседопуска [ 26.937361] vmbr0: порт 1(bond0) вошёл в состояние блокировки [ 26.937616] vmbr0: порт 1(bond0) вошёл в состояние пересылки [ 27.049355] устройство bond0 вышло из режима вседопуска [ 27.049594] устройство eno1 вышло из режима вседопуска [ 27.049844] устройство eno2 вышло из режима вседопуска [ 27.146285] bpfilter: Загружен bpfilter_umh pid 4506 [ 27.146439] Запущён bpfilter [ 27.895286] i40e 0000:3d:00.1: eno2 входит в режим allmulti. [ 27.896363] i40e 0000:3d:00.0: eno1 входит в режим allmulti. ************* auto lo iface lo inet loopback auto eno1 iface eno1 inet manual auto eno2 iface eno2 inet manual auto ens803f0 iface ens803f0 inet manual auto ens803f1 iface ens803f1 inet manual auto bond0 iface bond0 inet manual slaves eno1 eno2 bond-miimon 100 bond-mode 802.3ad bond-xmit-hash-policy layer2+3 offload-rx-vlan-filter off auto vmbr0 iface vmbr0 inet static address 192.168.183.10 netmask 255.255.255.0 gateway 192.168.183.1 bridge-ports bond0 bridge-vlan_aware yes bridge-stp off bridge-fd 0 ************

Ksperis Guest	#11 0 24.06.2021 10:49:00 Обрати внимание, что опция offload-rx-vlan-filter в network/interfaces требует установки пакета ethtool (который не установлен по умолчанию).

sigmarb

Guest

#12

04.12.2021 22:08:00

Вот моя "история успеха" с этим багом. Убрать логирование помогло, но не решило проблему. Я заглушил логи:
Code: auto vmbr0
iface vmbr0 inet manual
#iface vmbr0 inet static
bridge-ports bond1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 100 Обратите внимание на bridge-vids. У меня сейчас только один VLAN. Логи стали чистыми, но система все равно зависала, как сообщал пользователь. Одиночный offload-rx-vlan не помог. Пришлось обновить прошивку сетевых карт и отключить несколько функций offloading для сетевых карт и агрегированных каналов. Не знаю, хватило бы настройки только для агрегированного канала. Судя по тому, как ethtools -k показывает флаги для реальных сетевых карт и агрегированного канала, эти настройки нужно применять хотя бы к физическим интерфейсам.
iface enp33s0f1 inet manual offload-rxvlan off offload-txvlan off offload-tso off offload-rx-vlan-filter off
iface enp33s0f2 inet manual offload-rxvlan off offload-txvlan off offload-tso off offload-rx-vlan-filter off
auto bond0
iface bond0 inet static address 172.16.0.11 netmask 255.255.255.0
bond-slaves enp33s0f1 enp33s0f2
bond-miimon 100
bond-mode broadcast
offload-rxvlan off
offload-txvlan off
offload-tso off
offload-rx-vlan-filter off
Теперь проблема решена здесь.

sigmarb Guest	#13 0 09.01.2022 16:33:00 Похоже, это не окончательно решило мою проблему. У кого-нибудь есть еще идеи, как это исправить раз и навсегда?

dirk_soldea Guest	#14 0 26.01.2022 15:31:00 У меня та же проблема с Supermicro X11SDV-4C-TP8F на Proxmox 7.1.7.

sigmarb Guest	#15 0 06.02.2022 21:51:00 Ты видишь ошибку только в логах или система полностью зависает на 20 минут?

sigmarb

Guest

#16

06.02.2022 23:04:00

Вот что я заметил. Может, кто-то сможет соотнестись: после перезагрузки host1, также host3 теряет все свои соединения согласно KNET. Это независимые соединения в моем случае. Сами соединения не ушли вниз, я все еще получал ответ на пинги по этим соединениям. Это должно быть проблемой какого-то более высокого или низкого уровня.

Код: Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] link: host: 1 link: 0 is down
Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] link: host: 1 link: 1 is down
Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] host: host: 1 (passive) best link: 0 (pri: 1)
Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] host: host: 1 has no active links
Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] host: host: 1 (passive) best link: 0 (pri: 1)
Feb 6 22:55:14 pve4 corosync[3599]: [KNET ] host: host: 1 has no active links
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] link: host: 3 link: 0 is down
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] link: host: 3 link: 1 is down
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] host: host: 3 (passive) best link: 0 (pri: 1)
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] host: host: 3 has no active links
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] host: host: 3 (passive) best link: 0 (pri: 1)
Feb 6 22:55:21 pve4 corosync[3599]: [KNET ] host: host: 3 has no active links
Feb 6 22:55:22 pve4 corosync[3599]: [KNET ] rx: host: 3 link: 0 is up
Feb 6 22:55:22 pve4 corosync[3599]: [KNET ] rx: host: 3 link: 1 is up
Несмотря на то, что пинги идут туда и обратно, жалуется Ceph:

Код: Feb 6 23:05:46 pve4 ceph-osd[362861]: 2022-02-06T23:05:46.906+0100 7fac59de1700 -1 osd.9 12160 heartbeat_check: no reply from 172.16.0.13:6812 osd.12 since back 2022-02-06T22:55:17.509263+0100 front 2022-02-06T22:55:17.509285+0100 (oldest deadline 2022-02-06T22:55:38.609106+0100)

dirk_soldea Guest	#17 0 07.02.2022 20:54:00 Я вижу только ошибку в логе.

xed Guest	#18 0 19.02.2022 14:02:00 Это реально мешает нам успешно настроить новый PVE хост. Материнская плата Supermicro с Xeon Silver gen2, и двумя 10G SFP+ NICs, 710-й серии. Не получается, когда VLANы настроены.

xed Guest	#19 0 19.02.2022 14:04:00 ОТКОРРЕКТИРОВАНО: 722 базовая, а не 710.

Lanschuetz Guest	#20 0 30.11.2022 09:05:00 Привет, какие-нибудь новости по этому вопросу? Сам работаю с Intel Xeon Silver CPU и двумя 10G SFP+ NIC на базе Intel X710.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры