Аспро: ЛайтШоп [тема: Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.]

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.

Thu, 12 Jun 2025 10:51:00 +0300

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Основной узел и PBS находятся на локальном сайте, а QDevice активен на PBS, так что они способны достичь кворума. Что касается чувствительности Corosync к задержкам, у нас есть две симметричные FTTH-связи на 1 Гбит/с, так что надеюсь, что это не станет проблемой — наши тесты пока не показали никаких проблем.
12.06.2025 10:51:00, Pierluigi.Ink.

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.

Wed, 11 Jun 2025 14:49:00 +0300

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей. Спасибо. Но как ты планируешь активировать резервный узел? Сам по себе, без кворума, он не запустит ни одну VM (если только ты не установишь ожидаемое количество голосов в 1). А как насчёт задержки через VPN? Corosync очень придирчив к задержкам.
11.06.2025 14:49:00, LnxBil.

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.

Wed, 11 Jun 2025 14:39:00 +0300

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отличный вопрос. PBS будет в той же локальной сети, что и основной узел, поэтому в случае сбоя соединения между двумя площадками кворум все равно будет гарантирован. Удаленный узел предназначен как "резервный"—даже если он станет недоступен, это не повлияет на работу кластера. Я понимаю, что это не идеальная конфигурация. Мы бы хотели построить более крупный кластер на базе файловой системы Ceph, но, к сожалению, бюджет этого не позволяет. Спасибо.
11.06.2025 14:39:00, Pierluigi.Ink.

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.

Wed, 11 Jun 2025 13:01:00 +0300

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня нет ответа на твой вопрос, только еще вопросы, например, вот этот: где будет твой узел кворума PBS и как он интегрирован через VPN для получения кворума кластеру? Если у тебя 2 в ЦОД a и 1 в ЦОД b, как будет работать переключение при отказе сети?
11.06.2025 13:01:00, LnxBil.

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN.

Wed, 11 Jun 2025 10:55:00 +0300

Проблемы с сетевым взаимодействием в отказоустойчивой кластерной системе на базе SDN/EVPN. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, мы планируем обновление нашей инфраструктуры на базе Proxmox VE и Proxmox Backup Server (PBS). Предлагаемая конфигурация включает в себя трехузловой кластер: 2 узла PVE и 1 узел PBS. 2 PVE узла (hpve1: 192.168.0.220 и hpve2: 192.168.21.221) будут использовать хранилище ZFS. Узел hpve1 будет основным (локальным) узлом, расположенным в нашем основном офисе (LAN 192.168.0.0/24), в то время как hpve2 будет вторичным (удаленным) узлом, расположенным во вторичном офисе (LAN 192.168.21.0/24). Два узла будут подключены через VPN (в настоящее время OpenVPN, но возможно замена на IPSec или Wireguard). ВМ всегда будут работать на узле hpve1 и будут настроены для создания локальных снимков и удаленной репликации на hpve2. Перед покупкой финального оборудования для этой инфраструктуры, мы настроили лабораторную среду с использованием двух мини-ПК с AMD Ryzen 9 PRO 695H – GMKtec NucBox M7 Pro ([https://tinyurl.com/2bbhbmfo](<#0 >)), каждый из которых оснащен 2 x 1ТБ NVMe SSD и 32ГБ ОЗУ, для проведения всех тестов. Мы успешно создали кластер HA, активировали снимки и репликацию (через `cv4pve-admin`, запущенный в Docker контейнере на hpve1), и настроили SDN, включив EVPN Zone (MTU установлено в 1450 согласно документации) с соответствующими VNets и подсетью (192.168.88.0/24), используемой для подключения ВМ. Мы установили hpve1 в качестве предпочтительного узла выхода и настроили нашу внутреннюю сеть (брандмауэр pfSense с шлюзом 192.168.0.220 и статический маршрут для подсети 192.168.88.0/24, а также соответствующие правила брандмауэра). Эта конфигурация позволила нам получить доступ к тестовым ВМ (192.168.88.10, 192.168.88.20), работающим на hpve1 и подключенным к VNet подсети, с ПК (192.168.0.149) в LAN основного офиса — без использования VPN. ВМ отвечают на пинги, получают доступ к Интернету, разрешен доступ по SSH и VNC, и всё кажется работающим нормально, но:

1. После подключения по SSH к тестовой Linux ВМ, через случайный интервал (10–20 секунд), сессия SSH зависает. Если я запускаю пинг из ВМ (во время подключения по SSH) к брандмауэру или к любому ПК в LAN 192.168.0.0/24, пинг работает для нескольких пакетов (иногда 10, иногда 20) и затем зависает. Однако, если я получаю доступ к ВМ через консоль Proxmox VE и запускаю `htop`, я все еще вижу процесс `ping` работающим.
2. Я могу подключиться по VNC к тестовым Windows ВМ, но через 10–20 секунд клиент VNC зависает. Как упоминалось, я установил MTU в 1450, а затем и в 1350 на всех задействованных NIC. Из консоли ВМ, если я отправляю "некорректные" ICMP пакеты, команда сразу же завершается неудачей; в противном случае, она работает только несколько секунд. Однако, если я запускаю `ping` с ПК в LAN (192.168.0.149) к ВМ, команда никогда не завершается с ошибкой или не теряет пакеты. Исходя из того, что я прочитал, похоже на проблему, связанную с MTU, но я не могу понять, как это исправить. Есть ли кто-нибудь, кто может помочь мне понять, что происходит и как это решить?

Заранее большое спасибо.
Pierluigi
11.06.2025 10:55:00, Pierluigi.Ink.