Я уже много лет использую pfSense на этом же железе, и всё работало отлично. Версия Proxmox с релиза осталась такой же, как сейчас, а pfSense последние месяцы у меня стоял в виде pfSense+ версии 22.x (до этого — pfSense CE). Единственное, что изменилось — теперь Proxmox установлен на ZFS (родная установка Proxmox), а не на RAID 1. pfSense поставил с нуля (старую VM не переносил на новый гипервизор).
Как только начал запускать новую установку с реальным трафиком, pfSense переставал передавать трафик через гипервизор каждые несколько минут. Я залезал в IPMI гипервизора — в логах ничего не отображалось. Но гипервизор не мог пропинговать pfSense по LAN и уж тем более получить доступ к WAN. Через SSH на pfSense тоже логов никаких. pfSense мог нормально выходить в WAN, логов опять же не было, но при попытке пинга хоста выдавалось более информативное сообщение: «ping: sendto: No buffer space available». Если делать ifconfig down, а потом up на vtnet1, сетевом адаптере LAN, pfSense снова мог пинговать гипервизор, как прописано в документации Netgate, но хост всё равно не мог воспользоваться pfSense для выхода в WAN. Каждый раз помогал только перезапуск pfSense. Как только запускался заново — всё работало пару минут, и затем всё повторялось.
Я сменил сетевой адаптер с VirtIO на E1000 — проблема исчезла. Но использовать E1000 дальше не могу: у меня гигабитное соединение, а E1000 максимум выдаёт 180 МБ/с. Помогите, пожалуйста, снова заставить VirtIO работать. Возможно, нужно отключить offload аппаратных checksum и TCP сегментацию также и на стороне физического Linux (=Proxmox)? Netgate тоже упоминает, что это возможно надо сделать, у меня так не было в прошлой установке, которая нормально работала на этом же железе много лет (тогда QEMU Guest Agent не ставился таким методом). Почему это может понадобиться сейчас? Если нет заметного падения производительности — сделаю.
pve-manager/7.2-11/b76d3178 (ядро 5.15.60-2-pve)
22.05-RELEASE (amd64) — FreeBSD 12.3-STABLE,
и, разумеется, все оффлоады уже давно выключены (всегда были).
Код из /etc/network/interfaces.d/*:
auto lo
iface lo inet loopback
iface eno1 inet manual
iface eno2 inet manual
auto vmbr0
iface vmbr0 inet manual
bridge-ports eno1
bridge-stp off
bridge-fd 0
auto vmbr1
iface vmbr1 inet static
address 10.10.10.10/24
gateway 10.10.10.1
bridge-ports none
bridge-stp off
bridge-fd 0
Готов предоставить вывод ethtool -k для любых адаптеров, но не думаю, что у них какие-то изменения — если только Proxmox сам не что-то подправил.
Конфигурация VM (201.conf):
agent: 1
boot: order=ide0
cores: 4
cpu: host
ide0: local-zfs:vm-201-disk-0,size=12G
memory: 4096
meta: creation-qemu=7.0.0,ctime=1665785801
name: pfsense
net0: e1000=3A:...,bridge=vmbr0
net1: e1000=E6:...,bridge=vmbr1
numa: 0
onboot: 1
ostype: other
protection: 1
scsihw: virtio-scsi-single # переключался с virtio-scsi-pci во время отладки
serial0: socket
serial1: socket
smbios1: uuid=d...
sockets: 1
startup: order=1,up=10
Конфигурация 201.conf из предыдущей установки:
agent: 0
boot: cd
bootdisk: virtio0
cores: 4
cpu: host
memory: 8192
name: pfsense
net0: virtio=62:1C:04:B6:E1:BF,bridge=vmbr0
net1: virtio=E6:80:45:08:75:96,bridge=vmbr1
numa: 0
onboot: 1
ostype: other
protection: 1
scsihw: virtio-scsi-pci
serial0: socket
serial1: socket
smbios1: uuid=7f48a867-a2cd-4023-80d8-5a12f5f1988f
sockets: 1
startup: order=1,up=90
vga: qxl
virtio0: zfs-storage-id:vm-201-disk-0,cache=writeback,size=8G
vmgenid: ea0d1691-b450-4392-8edd-785a67c573d6
Ссылку на эту проблему оставил в форуме pfSense, так как скорее всего это баг Proxmox, а не наоборот:
Как только начал запускать новую установку с реальным трафиком, pfSense переставал передавать трафик через гипервизор каждые несколько минут. Я залезал в IPMI гипервизора — в логах ничего не отображалось. Но гипервизор не мог пропинговать pfSense по LAN и уж тем более получить доступ к WAN. Через SSH на pfSense тоже логов никаких. pfSense мог нормально выходить в WAN, логов опять же не было, но при попытке пинга хоста выдавалось более информативное сообщение: «ping: sendto: No buffer space available». Если делать ifconfig down, а потом up на vtnet1, сетевом адаптере LAN, pfSense снова мог пинговать гипервизор, как прописано в документации Netgate, но хост всё равно не мог воспользоваться pfSense для выхода в WAN. Каждый раз помогал только перезапуск pfSense. Как только запускался заново — всё работало пару минут, и затем всё повторялось.
Я сменил сетевой адаптер с VirtIO на E1000 — проблема исчезла. Но использовать E1000 дальше не могу: у меня гигабитное соединение, а E1000 максимум выдаёт 180 МБ/с. Помогите, пожалуйста, снова заставить VirtIO работать. Возможно, нужно отключить offload аппаратных checksum и TCP сегментацию также и на стороне физического Linux (=Proxmox)? Netgate тоже упоминает, что это возможно надо сделать, у меня так не было в прошлой установке, которая нормально работала на этом же железе много лет (тогда QEMU Guest Agent не ставился таким методом). Почему это может понадобиться сейчас? Если нет заметного падения производительности — сделаю.
pve-manager/7.2-11/b76d3178 (ядро 5.15.60-2-pve)
22.05-RELEASE (amd64) — FreeBSD 12.3-STABLE,
и, разумеется, все оффлоады уже давно выключены (всегда были).
Код из /etc/network/interfaces.d/*:
auto lo
iface lo inet loopback
iface eno1 inet manual
iface eno2 inet manual
auto vmbr0
iface vmbr0 inet manual
bridge-ports eno1
bridge-stp off
bridge-fd 0
auto vmbr1
iface vmbr1 inet static
address 10.10.10.10/24
gateway 10.10.10.1
bridge-ports none
bridge-stp off
bridge-fd 0
Готов предоставить вывод ethtool -k для любых адаптеров, но не думаю, что у них какие-то изменения — если только Proxmox сам не что-то подправил.
Конфигурация VM (201.conf):
agent: 1
boot: order=ide0
cores: 4
cpu: host
ide0: local-zfs:vm-201-disk-0,size=12G
memory: 4096
meta: creation-qemu=7.0.0,ctime=1665785801
name: pfsense
net0: e1000=3A:...,bridge=vmbr0
net1: e1000=E6:...,bridge=vmbr1
numa: 0
onboot: 1
ostype: other
protection: 1
scsihw: virtio-scsi-single # переключался с virtio-scsi-pci во время отладки
serial0: socket
serial1: socket
smbios1: uuid=d...
sockets: 1
startup: order=1,up=10
Конфигурация 201.conf из предыдущей установки:
agent: 0
boot: cd
bootdisk: virtio0
cores: 4
cpu: host
memory: 8192
name: pfsense
net0: virtio=62:1C:04:B6:E1:BF,bridge=vmbr0
net1: virtio=E6:80:45:08:75:96,bridge=vmbr1
numa: 0
onboot: 1
ostype: other
protection: 1
scsihw: virtio-scsi-pci
serial0: socket
serial1: socket
smbios1: uuid=7f48a867-a2cd-4023-80d8-5a12f5f1988f
sockets: 1
startup: order=1,up=90
vga: qxl
virtio0: zfs-storage-id:vm-201-disk-0,cache=writeback,size=8G
vmgenid: ea0d1691-b450-4392-8edd-785a67c573d6
Ссылку на эту проблему оставил в форуме pfSense, так как скорее всего это баг Proxmox, а не наоборот:
