Аспро: ЛайтШоп [тема: Проблема с VE Cluster из 5 серверов.] http://proxmox.su Новое в теме Проблема с VE Cluster из 5 серверов. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 18 Apr 2026 09:37:38 +0300 Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
... Я не буду тебя поправлять, но тебе действительно стоит вернуться и почитать, как работает сетевое взаимодействие в среде Linux-гипервизора. Скажем так, это работает не так, как тебе кажется.
24.05.2025 18:28:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message308799/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308799/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 18:28:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы сейчас в процессе создания новой сетевой структуры, а также для остальных кластеров. У нас не только один кластер Proxmox, мы ещё и меняем хранилище, так что в ближайшую неделю предстоит много работы.
24.05.2025 19:26:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308798/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308798/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 19:26:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
vmbr0 предназначен только для внутреннего трафика, не для виртуальных машин. Интерфейсы виртуальных машин: enp1s0f1 используется для локальной сети, enp2s0f0 изолирован для трафика WAN.
24.05.2025 18:09:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308797/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308797/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 18:09:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, ты используешь один интерфейс для всего трафика, включая corosync. Это плохая практика и может привести к тому самому поведению, которое ты наблюдаешь. Если хочешь исключить возможность прерывания corosync, не смешивай с ним другой трафик на одном интерфейсе. Лучше всего добавить второй интерфейс, чтобы проблемы с интерфейсом не привели к "выставлению" твоего узла.
24.05.2025 17:48:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message308796/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308796/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 17:48:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы снова убрали prox2 из кластера, но конфигурация была той же, что и у узла { name: prox2 nodeid: 2 quorum_votes: 1 ring0_addr: 192.168.1.151 }.

Код: ###corosync config###

logging {
 debug: off
 to_syslog: yes
}

nodelist {
 node {
   name: prox1
   nodeid: 1
   quorum_votes: 1
   ring0_addr: 192.168.1.150
 }
 node {
   name: prox3
   nodeid: 3
   quorum_votes: 1
   ring0_addr: 192.168.1.152
 }
 node {
   name: prox4
   nodeid: 4
   quorum_votes: 1
   ring0_addr: 192.168.1.153
 }
 node {
   name: prox5
   nodeid: 5
   quorum_votes: 1
   ring0_addr: 192.168.1.154
 }
}

quorum {
 provider: corosync_votequorum
}

totem {
 cluster_name: site
 config_version: 14
 interface {
   linknumber: 0
 }
 ip_version: ipv4-6
 link_mode: passive
 secauth: on
 version: 2
}
24.05.2025 13:26:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308795/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308795/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 13:26:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
###interfaces prox1 3,4,5 the same only the ip is different###

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual
#LAN1

auto enp1s0f1
iface enp1s0f1 inet manual
#LAN2

auto enp2s0f0
iface enp2s0f0 inet manual
#WAN1

auto enp2s0f1
iface enp2s0f1 inet manual
#WAN2

auto vmbr0
iface vmbr0 inet static
   address 192.168.1.150/24
   gateway 192.168.1.1
   bridge-ports enp1s0f0
   bridge-stp off
   bridge-fd 0

auto lan
iface lan inet manual
   bridge-ports enp1s0f1
   bridge-stp off
   bridge-fd 0
#serverlan

auto wan
iface wan inet manual
   bridge-ports enp2s0f1
   bridge-stp off
   bridge-fd 0
#lan-vpn-kontor

auto wwan
iface wwan inet manual
   bridge-ports enp2s0f0
   bridge-stp off
   bridge-fd 0
   bridge-vlan-aware yes
   bridge-vids 3500
#WAN

source /etc/network/interfaces.d/*

###interfaces prox2###

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual
#LAN1

auto enp1s0f1
iface enp1s0f1 inet manual
#LAN2

auto enp2s0f0
iface enp2s0f0 inet manual
#WAN1

auto enp2s0f1
iface enp2s0f1 inet manual
#WAN2

auto vmbr0
iface vmbr0 inet static
   address 192.168.1.151/24
   gateway 192.168.1.1
   bridge-ports enp1s0f0
   bridge-stp off
   bridge-fd 0

auto lan
iface lan inet manual
   bridge-ports enp1s0f1
   bridge-stp off
   bridge-fd 0
#serverlan

auto wan
iface wan inet manual
   bridge-ports enp2s0f1
   bridge-stp off
   bridge-fd 0
#lan-vpn-kontor

auto wwan
iface wwan inet manual
   bridge-ports enp2s0f0
   bridge-stp off
   bridge-fd 0
   bridge-vlan-aware yes
   bridge-vids 3500
#WAN

source /etc/network/interfaces.d/*
24.05.2025 13:16:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308794/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308794/75495-problema-s-ve-cluster-iz-5-serverov. Sat, 24 May 2025 13:16:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это тоже есть в логах. Если мне приходится догадываться, то это проблема с сетью. Выложи содержимое файлов /etc/network/interfaces и /etc/pve/corosync.conf для проверки и рекомендаций.
23.05.2025 20:39:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message308793/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308793/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 20:39:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В логах пишет, что кворума нет, но почему? Мы меняли железо, проблем со свитчем или кабелем нет, так почему пишет, что кворума нет и перезагружается, но не выходит в онлайн? Чтобы перезагрузить во второй раз, нужно делать хард-ресет, а потом он вроде как выходит в онлайн. У того же сервера с версией 8.0 проблем нет, проблема появилась после обновления до 8.2-8.4.
23.05.2025 20:32:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308792/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308792/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 20:32:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Все ответы в твоих логах. Начни с них.
23.05.2025 20:22:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message308791/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308791/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 20:22:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Все серверы работают на версии 8.4, да, они могут общаться через сеть Corosync.
23.05.2025 20:16:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308790/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308790/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 20:16:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Согласно https://pve.proxmox.com/pve-docs/chapter-pvecm.html#_requirements "Если вас интересует Высокая доступность, ... все узлы должны иметь одну и ту же версию". Если 2 не могут надежно взаимодействовать с кластером, они будут перезагружаться (из-за отсутствия кворума). Это перезагружается? Могут ли они общаться по сети(ям) Corosync? (ping между всеми узлами)
23.05.2025 19:58:00, SteveITS.]]> http://proxmox.su/forum/messages/forum63/message308789/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308789/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 19:58:00 +0300 Proxmox Виртуальная Среда Проблема с VE Cluster из 5 серверов. Проблема с VE Cluster из 5 серверов. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у нас есть VE-кластер с 5 серверами, все серверы: Supermicro Server CSE-819U 2x 14-Core Xeon E5-2690 v4 2,6GHz 128GB 9361-8i prox1 до prox5 имеют одинаковую сетевую конфигурацию 192.168.1.150-154 (adminnet).

На каждом сервере работает 2-3 ВМ с локальным ZFS хранилищем, есть общее хранилище и 3 сервера резервного копирования в кластере. Общее хранилище находится в одной сети, серверы резервного копирования - в той же.

Странно, что кластер работает не очень хорошо с 5 серверами онлайн, потому что prox2 отключается. - smartdog отключает prox2, - prox2 снова запускается, но не подключается к кластеру. В кластере я вижу, что prox2 оффлайн, мне приходится хард-ресетить сервер.

Мы заменили оборудование на prox2, включая сетевую карту и материнскую плату. После того, как мы заменили все оборудование, сервер работал в автономном режиме с Proxmox и тестовой ВМ без проблем. Теперь, спустя 10 дней, мы добавили prox2 в кластер, и он отключается почти через час. Когда мы удаляем сервер из кластера, все работает без проблем.

Разница между prox2 и остальными серверами в том, что prox2 был свежеустановлен с версии 8.2 и обновлен до 8.3, а остальные серверы установлены с версии 8.0 и обновлены до 8.4.

Внутренняя сеть - 10Gbit сеть. HA активирована почти на всех ВМ. Все установки Proxmox программного обеспечения стандартные и сейчас работают на версии 8.4.

Какие есть идеи, что происходит?
23.05.2025 19:08:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message308788/75495-problema-s-ve-cluster-iz-5-serverov. http://proxmox.su/forum/messages/forum63/message308788/75495-problema-s-ve-cluster-iz-5-serverov. Fri, 23 May 2025 19:08:00 +0300 Proxmox Виртуальная Среда