+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проблема с VE Cluster из 5 серверов., Proxmox Виртуальная Среда

linhu

Guest

23.05.2025 19:08:00

Привет, у нас есть VE-кластер с 5 серверами, все серверы: Supermicro Server CSE-819U 2x 14-Core Xeon E5-2690 v4 2,6GHz 128GB 9361-8i prox1 до prox5 имеют одинаковую сетевую конфигурацию 192.168.1.150-154 (adminnet).

На каждом сервере работает 2-3 ВМ с локальным ZFS хранилищем, есть общее хранилище и 3 сервера резервного копирования в кластере. Общее хранилище находится в одной сети, серверы резервного копирования - в той же.

Странно, что кластер работает не очень хорошо с 5 серверами онлайн, потому что prox2 отключается. - smartdog отключает prox2, - prox2 снова запускается, но не подключается к кластеру. В кластере я вижу, что prox2 оффлайн, мне приходится хард-ресетить сервер.

Мы заменили оборудование на prox2, включая сетевую карту и материнскую плату. После того, как мы заменили все оборудование, сервер работал в автономном режиме с Proxmox и тестовой ВМ без проблем. Теперь, спустя 10 дней, мы добавили prox2 в кластер, и он отключается почти через час. Когда мы удаляем сервер из кластера, все работает без проблем.

Разница между prox2 и остальными серверами в том, что prox2 был свежеустановлен с версии 8.2 и обновлен до 8.3, а остальные серверы установлены с версии 8.0 и обновлены до 8.4.

Внутренняя сеть - 10Gbit сеть. HA активирована почти на всех ВМ. Все установки Proxmox программного обеспечения стандартные и сейчас работают на версии 8.4.

Какие есть идеи, что происходит?

SteveITS

Guest

23.05.2025 19:58:00

Согласно https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_requirements "Если вас интересует Высокая доступность, ... все узлы должны иметь одну и ту же версию". Если 2 не могут надежно взаимодействовать с кластером, они будут перезагружаться (из-за отсутствия кворума). Это перезагружается? Могут ли они общаться по сети(ям) Corosync? (ping между всеми узлами)

linhu Guest	#3 0 23.05.2025 20:16:00 Все серверы работают на версии 8.4, да, они могут общаться через сеть Corosync.

alexskysilk Guest	#4 0 23.05.2025 20:22:00 Все ответы в твоих логах. Начни с них.

linhu

Guest

23.05.2025 20:32:00

В логах пишет, что кворума нет, но почему? Мы меняли железо, проблем со свитчем или кабелем нет, так почему пишет, что кворума нет и перезагружается, но не выходит в онлайн? Чтобы перезагрузить во второй раз, нужно делать хард-ресет, а потом он вроде как выходит в онлайн. У того же сервера с версией 8.0 проблем нет, проблема появилась после обновления до 8.2-8.4.

alexskysilk Guest	#6 0 23.05.2025 20:39:00 Это тоже есть в логах. Если мне приходится догадываться, то это проблема с сетью. Выложи содержимое файлов /etc/network/interfaces и /etc/pve/corosync.conf для проверки и рекомендаций.

linhu

Guest

24.05.2025 13:16:00

###interfaces prox1 3,4,5 the same only the ip is different###

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual
#LAN1

auto enp1s0f1
iface enp1s0f1 inet manual
#LAN2

auto enp2s0f0
iface enp2s0f0 inet manual
#WAN1

auto enp2s0f1
iface enp2s0f1 inet manual
#WAN2

auto vmbr0
iface vmbr0 inet static
address 192.168.1.150/24
gateway 192.168.1.1
bridge-ports enp1s0f0
bridge-stp off
bridge-fd 0

auto lan
iface lan inet manual
bridge-ports enp1s0f1
bridge-stp off
bridge-fd 0
#serverlan

auto wan
iface wan inet manual
bridge-ports enp2s0f1
bridge-stp off
bridge-fd 0
#lan-vpn-kontor

auto wwan
iface wwan inet manual
bridge-ports enp2s0f0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 3500
#WAN

source /etc/network/interfaces.d/*

###interfaces prox2###

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual
#LAN1

auto enp1s0f1
iface enp1s0f1 inet manual
#LAN2

auto enp2s0f0
iface enp2s0f0 inet manual
#WAN1

auto enp2s0f1
iface enp2s0f1 inet manual
#WAN2

auto vmbr0
iface vmbr0 inet static
address 192.168.1.151/24
gateway 192.168.1.1
bridge-ports enp1s0f0
bridge-stp off
bridge-fd 0

auto lan
iface lan inet manual
bridge-ports enp1s0f1
bridge-stp off
bridge-fd 0
#serverlan

auto wan
iface wan inet manual
bridge-ports enp2s0f1
bridge-stp off
bridge-fd 0
#lan-vpn-kontor

auto wwan
iface wwan inet manual
bridge-ports enp2s0f0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 3500
#WAN

source /etc/network/interfaces.d/*

linhu

Guest

24.05.2025 13:26:00

Мы снова убрали prox2 из кластера, но конфигурация была той же, что и у узла { name: prox2 nodeid: 2 quorum_votes: 1 ring0_addr: 192.168.1.151 }.

Код: ###corosync config###

logging {
debug: off
to_syslog: yes
}

nodelist {
node {
name: prox1
nodeid: 1
quorum_votes: 1
ring0_addr: 192.168.1.150
}
node {
name: prox3
nodeid: 3
quorum_votes: 1
ring0_addr: 192.168.1.152
}
node {
name: prox4
nodeid: 4
quorum_votes: 1
ring0_addr: 192.168.1.153
}
node {
name: prox5
nodeid: 5
quorum_votes: 1
ring0_addr: 192.168.1.154
}
}

quorum {
provider: corosync_votequorum
}

totem {
cluster_name: site
config_version: 14
interface {
linknumber: 0
}
ip_version: ipv4-6
link_mode: passive
secauth: on
version: 2
}

alexskysilk

Guest

24.05.2025 17:48:00

Похоже, ты используешь один интерфейс для всего трафика, включая corosync. Это плохая практика и может привести к тому самому поведению, которое ты наблюдаешь. Если хочешь исключить возможность прерывания corosync, не смешивай с ним другой трафик на одном интерфейсе. Лучше всего добавить второй интерфейс, чтобы проблемы с интерфейсом не привели к "выставлению" твоего узла.

linhu Guest	#10 0 24.05.2025 18:09:00 vmbr0 предназначен только для внутреннего трафика, не для виртуальных машин. Интерфейсы виртуальных машин: enp1s0f1 используется для локальной сети, enp2s0f0 изолирован для трафика WAN.

linhu Guest	#11 0 24.05.2025 19:26:00 Мы сейчас в процессе создания новой сетевой структуры, а также для остальных кластеров. У нас не только один кластер Proxmox, мы ещё и меняем хранилище, так что в ближайшую неделю предстоит много работы.

alexskysilk Guest	#12 0 24.05.2025 18:28:00 ... Я не буду тебя поправлять, но тебе действительно стоит вернуться и почитать, как работает сетевое взаимодействие в среде Linux-гипервизора. Скажем так, это работает не так, как тебе кажется.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры