Я разобрался со своей проблемой, оказалось, это асимметричный маршрут. Я подключался по ssh из моей основной сети к интерфейсу управления в VLAN управления, но Proxmox также имеет интерфейс в обычной сети, и он отвечал через него. В итоге, мне пришлось сделать что-то вроде того, что описано здесь: https://wbhegedus.me/avoiding-asymmetric-routing/ и закрепил это настройками post-up в файле /etc/network/interfaces.

Я сделал то, что было в ссылке, но немного изменил названия таблиц. Я вручную отредактировал /etc/iproute2/rt_tables на каждом узле, добавил 1 таблицу `mgmt` и 2 таблицы `users`, а потом продолжил следовать инструкции для каждой из этих таблиц, прописав нужные записи. Как только это заработало, я добавил команды `post-up` и `post-down` для моего bridge и vlan на bridge в /etc/network/interfaces, так как Proxmox не использует Network Manager. Выглядит это вот так (хотя вам придётся адаптировать это под вашу ситуацию, применимы только команды `post-up` и `post-down`):

```
auto vmbr0
iface vmbr0 inet static
address 192.168.3.174/24
bridge-ports enp2s0f1np1
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 1 20 30 40 60
offload-rx-vlan-filter off
post-up ip route add 192.168.3.0/24 dev vmbr0 table users
post-up ip route add default via 192.168.3.1 dev vmbr0 table users
post-up ip rule add from 192.168.3.174 lookup users
post-up ip rule add from all iif vmbr0 lookup users
post-down ip route del 192.168.3.0/24 dev vmbr0 table users
post-down ip rule del from 192.168.3.174 lookup users
post-down ip rule del from all iif vmbr0 lookup users

auto vmbr0.40
iface vmbr0.40 inet static
address 192.168.40.107/24
gateway 192.168.40.1
post-up ip route add 192.168.40.0/24 dev vmbr0.40 table mgmt
post-up ip route add default via 192.168.40.1 dev vmbr0.40 table mgmt
post-up ip rule add from 192.168.40.107 lookup mgmt
post-up ip rule add from all iif vmbr0.40 lookup mgmt
post-down ip route del 192.168.40.0/24 dev vmbr0.40 table mgmt
post-down ip rule del from 192.168.40.107 lookup mgmt
post-down ip rule del from all iif vmbr0.40 lookup mgmt
```