Аспро: ЛайтШоп [тема: Кластер VE с 5 серверами – проблема.] http://proxmox.su Новое в теме Кластер VE с 5 серверами – проблема. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 15 Nov 2026 20:24:18 +0300 Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Не могли бы вы поделиться содержимым файла /etc/pve/corosync.conf и результатом выполнения команды ```pvesm status```, когда нода 2 онлайн? Пожалуйста, попробуйте пинговать ноду 2 со всех остальных нод и сообщите нам о наибольшей задержке. Corosync очень чувствителен к задержкам, об этом [1]. [1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pvecm_cluster_network_requirements
26.05.2025 10:59:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message333045/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333045/78891-klaster-ve-s-5-serverami-_-problema. Mon, 26 May 2025 10:59:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
После того, как мы перезапустили prox2, он заработал без проблем.
05.06.2025 15:29:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333044/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333044/78891-klaster-ve-s-5-serverami-_-problema. Thu, 05 Jun 2025 15:29:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
from prox1: Код: 05.06 06:46:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'восстановление' на 'запущен' (узел = prox5)
05.06 06:46:13 pve-ha-crm[3336]: восстанавливается сервис 'vm:105' с заблокированного узла 'prox2' на узел 'prox5'
05.06 06:46:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'блокировка' на 'восстановление'
05.06 06:46:13 perl[3336]: уведомлено через цель `mail-to-root`
05.06 06:46:13 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'блокировка' => 'неизвестно'
05.06 06:46:13 pve-ha-crm[3336]: блокировка: подтверждено - получен агентский лок для узла 'prox2'
05.06 06:46:13 pve-ha-crm[3336]: успешно получен лок 'ha_agent_prox2_lock'
05.06 06:45:13 perl[3336]: уведомлено через цель `mail-to-root`
05.06 06:45:13 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'неизвестно' => 'блокировка'
05.06 06:45:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'запущен' на 'блокировка'
05.06 06:44:23 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'онлайн' => 'неизвестно' pve-cluster: Код: 05.06 09:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 09:00:05 pmxcfs[2689]: [status] уведомление: получен лог
05.06 09:00:05 pmxcfs[2689]: [status] уведомление: получен лог
05.06 09:00:00 pmxcfs[2689]: [status] уведомление: получен лог
05.06 08:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 07:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 06:46:25 pmxcfs[2689]: [status] уведомление: получен лог
05.06 06:46:23 pmxcfs[2689]: [status] уведомление: получен лог
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: dfsm_deliver_queue: длина очереди 49
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: все данные актуальны
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: получены все состояния
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: dfsm_deliver_queue: длина очереди 15
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: все данные актуальны
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: отправлены все (0) обновления
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: начать отправку обновлений inode
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: синхронизированы члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: лидер – 1/2689
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: получены все состояния
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: получен запрос синхронизации (эпоха 1/2689/00000012)
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: получен запрос синхронизации (эпоха 1/2689/00000013)
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: начинается синхронизация данных
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: cpg_send_message повторён 1 раз
05.06 06:44:12 pmxcfs[2689]: [dcdb] уведомление: начинается синхронизация данных
05.06 06:44:12 pmxcfs[2689]: [dcdb] уведомление: члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 05:49:23 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:49:20 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 05:00:04 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:03 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:01 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:01 pmxcfs[2689]: [status] уведомление: получен лог
05.06 00:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно я отправил ping на prox2 без результата, так что он был полностью офлайн, я остановил сервер аппаратной кнопкой.
05.06.2025 09:54:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333043/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333043/78891-klaster-ve-s-5-serverami-_-problema. Thu, 05 Jun 2025 09:54:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Опять кластер офлайн, после того, как мы добавили prox2 в кластер. Сейчас выясняем причину и отправим логи как можно скорее. Код: Узел 'prox2' в кластере 'site' дал сбой и требует ручного вмешательства.

Менеджер PVE HA сейчас изолирует 'prox2'.

Статус: Попытка изолировать узел 'prox2'
Временная метка: 2025-06-05 06:45:03
Статус узлов кластера:

   prox1: онлайн [master]
   prox2: неизвестно
   prox3: онлайн
   prox4: онлайн
   prox5: онлайн

Ресурсы HA:
На отказавшем узле работали следующие ресурсы HA и будут восстановлены на исправном узле, если это возможно:

   vm:105 [prox2]: запущен

Другие ресурсы HA в этом кластере:

   vm:100 [prox1]: запущен
   vm:101 [prox1]: запущен
   vm:102 [prox3]: запущен
   vm:103 [prox3]: запущен
   vm:104 [prox1]: запущен
   vm:106 [prox4]: запущен
   vm:107 [prox4]: запущен
   vm:240 [prox5]: запущен
05.06.2025 09:15:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333042/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333042/78891-klaster-ve-s-5-serverami-_-problema. Thu, 05 Jun 2025 09:15:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Теперь к кластеру добавлен prox2. Вот результаты пинга по сети кластера:

Code: root@prox1:~# ping 10.10.20.151
PING 10.10.20.151 (10.10.20.151) 56(84) bytes of data.
64 bytes from 10.10.20.151: icmp_seq=1 ttl=64 time=0.216 ms
64 bytes from 10.10.20.151: icmp_seq=2 ttl=64 time=0.235 ms
^C
--- 10.10.20.151 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1046ms
rtt min/avg/max/mdev = 0.216/0.225/0.235/0.009 ms
root@prox1:~# ping 10.10.20.152
PING 10.10.20.152 (10.10.20.152) 56(84) bytes of data.
64 bytes from 10.10.20.152: icmp_seq=1 ttl=64 time=0.165 ms
64 bytes from 10.10.20.152: icmp_seq=2 ttl=64 time=0.168 ms
^C
--- 10.10.20.152 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1010ms
rtt min/avg/max/mdev = 0.165/0.166/0.168/0.001 ms
root@prox1:~# ping 10.10.20.153
PING 10.10.20.153 (10.10.20.153) 56(84) bytes of data.
64 bytes from 10.10.20.153: icmp_seq=1 ttl=64 time=0.207 ms
^C
--- 10.10.20.153 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.207/0.207/0.207/0.000 ms
root@prox1:~# ping 10.10.20.154
PING 10.10.20.154 (10.10.20.154) 56(84) bytes of data.
64 bytes from 10.10.20.154: icmp_seq=1 ttl=64 time=0.157 ms
64 bytes from 10.10.20.154: icmp_seq=2 ttl=64 time=0.157 ms
^C
--- 10.10.20.154 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1048ms
rtt min/avg/max/mdev = 0.157/0.157/0.157/0.000 ms
root@prox1:~# ping 10.10.20.150
PING 10.10.20.150 (10.10.20.150) 56(84) bytes of data.
64 bytes from 10.10.20.150: icmp_seq=1 ttl=64 time=0.034 ms
64 bytes from 10.10.20.150: icmp_seq=2 ttl=64 time=0.035 ms
^C
--- 10.10.20.150 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1060ms
rtt min/avg/max/mdev = 0.034/0.034/0.035/0.000 ms
root@prox1:~#
03.06.2025 13:20:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333041/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333041/78891-klaster-ve-s-5-serverami-_-problema. Tue, 03 Jun 2025 13:20:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну ладно, ок, это тоже будет опцией. Мы добавим prox2 на следующей неделе, так что надеюсь, заработает, потому что у нас ещё 5 серверов, которые мы добавим в этот кластер.
28.05.2025 18:08:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333040/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333040/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 18:08:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Выглядит лучше. Пожалуйста, убедитесь, что по первому соединению работает только corosync (например, нет управляющего трафика, трафика виртуальных машин или резервного копирования ВМ). Если вы до сих пор используете 10.10.20.150/24 в качестве основного соединения Corosync, то эта подсеть обрабатывается vmbr1, вы могли бы упростить это и определить такой IP-адрес напрямую на `enp2s0f1.20` вместо того, чтобы добавлять поверх него мост. Это можно сделать, если виртуальные машины не используют vmbr1.
28.05.2025 16:46:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message333039/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333039/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 16:46:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Слушай, как там пинг-статистика? Код: oot@prox1:~# ping 10.10.20.152
PING 10.10.20.152 (10.10.20.152) 56(84) bytes of data.
64 bytes from 10.10.20.152: icmp_seq=1 ttl=64 time=0.229 ms
64 bytes from 10.10.20.152: icmp_seq=2 ttl=64 time=0.169 ms
64 bytes from 10.10.20.152: icmp_seq=3 ttl=64 time=0.178 ms
^C
--- 10.10.20.152 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2042ms
rtt min/avg/max/mdev = 0.169/0.192/0.229/0.026 ms
root@prox1:~# ping 10.10.20.153
PING 10.10.20.153 (10.10.20.153) 56(84) bytes of data.
64 bytes from 10.10.20.153: icmp_seq=1 ttl=64 time=0.134 ms
64 bytes from 10.10.20.153: icmp_seq=2 ttl=64 time=0.160 ms
64 bytes from 10.10.20.153: icmp_seq=3 ttl=64 time=0.195 ms
^C
--- 10.10.20.153 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2069ms
rtt min/avg/max/mdev = 0.134/0.163/0.195/0.025 ms
root@prox1:~# ping 10.10.20.154
PING 10.10.20.154 (10.10.20.154) 56(84) bytes of data.
64 bytes from 10.10.20.154: icmp_seq=1 ttl=64 time=0.218 ms
64 bytes from 10.10.20.154: icmp_seq=2 ttl=64 time=0.208 ms
64 bytes from 10.10.20.154: icmp_seq=3 ttl=64 time=0.230 ms
^C
--- 10.10.20.154 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2045ms
rtt min/avg/max/mdev = 0.208/0.218/0.230/0.009 ms
root@prox1:~# ping 10.10.20.15
28.05.2025 15:51:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333038/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333038/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 15:51:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Теперь интерфейс выглядит так:

Код: # настройки сетевого интерфейса; автоматически сгенерировано
# Пожалуйста, НЕ изменяйте этот файл напрямую, если вы не знаете, что делаете.
#
# Если вам нужно управлять частью сетевой конфигурации вручную,
# используйте директивы 'source' или 'source-directory' для этого.
# PVE будет сохранять эти директивы, но НЕ будет считывать свою сетевую
# конфигурацию из внешних файлов, поэтому не пытайтесь переместить какие-либо
# интерфейсы, управляемые PVE, во внешние файлы!

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto enp2s0f0
iface enp2s0f0 inet manual

auto enp2s0f1
iface enp2s0f1 inet manual

auto enp2s0f1.20
iface enp2s0f1.20 inet manual
# VLAN 20 на enp2s0f1

auto bond0
iface bond0 inet manual
   bond-slaves enp1s0f0 enp1s0f1
   bond-miimon 100
   bond-mode 802.3ad
   bond-xmit-hash-policy layer2+3
#adm

auto bond0.30
iface bond0.30 inet manual
#storage

auto bond0.3500
iface bond0.3500 inet manual
#wan

auto bond0.40
iface bond0.40 inet manual
#backup

auto bond0.55
iface bond0.55 inet manual
#serverlan

auto vmbr0
iface vmbr0 inet static
   address 192.168.1.150/24
   gateway 192.168.1.1
   bridge-ports bond0
   bridge-stp off
   bridge-fd 0
#adm

auto vmbr1
iface vmbr1 inet static
   address 10.10.20.150/24
   bridge-ports enp2s0f1.20
   bridge-stp off
   bridge-fd 0
#cluster

auto vmbr2
iface vmbr2 inet static
   address 10.10.30.150/24
   bridge-ports bond0.30
   bridge-stp off
   bridge-fd 0
#storage

auto vmbr3
iface vmbr3 inet manual
   bridge-ports enp2s0f0
   bridge-stp off
   bridge-fd 0
   bridge-vlan-aware yes
   bridge-vids 3500
#wan

auto vmbr4
iface vmbr4 inet static
   address 10.10.40.150/24
   bridge-ports bond0.40
   bridge-stp off
   bridge-fd 0
#backup

auto vmbr5
iface vmbr5 inet manual
   bridge-ports bond0.55
   bridge-stp off
   bridge-fd 0
#serverlan

source /etc/network/interfaces.d/*
28.05.2025 15:37:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333037/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333037/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 15:37:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Окей, можно использовать команду `corosync-cfgtool -n`, чтобы проверить, работают ли все соединения нормально (лучше узнать заранее, что резервное соединение настроено неправильно, чем в момент переключения). Если инструмент показывает "enabled" и "connected" для всех соединений и они на тех интерфейсах, которые вы определили, для всех узлов, то, скорее всего, всё в порядке. Посмотрите нашу документацию, там объясняется, как менять конфигурацию corosync [1]. Обратите внимание, что изменения вступят в силу только если значение версии конфигурации увеличится. Некоторые специфические изменения могут потребовать перезапуска службы corosync вручную, но об этом будет написано в системных логах. [1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_configuration
28.05.2025 10:58:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message333036/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333036/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 10:58:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас освободился ещё один NIC на всех серверах, мы добавим их как выделенный NIC для Corosync. Спасибо за помощь, добавлю их сегодня и выложу конфиг позже.
28.05.2025 10:12:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333035/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333035/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 10:12:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы рекомендуем иметь как минимум одну выделенную сетевую карту (NIC) для Corosync, и эта сетевая карта должна быть подключена к Corosync напрямую, без объединения в bond. Corosync может обеспечивать избыточность нативно, а объединение в bond увеличивает задержку, Corosync чрезвычайно чувствителен к задержкам. Мы рекомендуем давать Corosync как минимум две разные линии связи. В вашем примере обе сети Corosync работают на одном bond0, просто с разными VLAN. Так что, если одна сеть будет перегружена, у вас возникнет fence.
28.05.2025 10:07:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message333034/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333034/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 10:07:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
prox2 будет добавлен в ближайшие дни.

Код: root@prox1:~# corosync-cfgtool -n

Local node ID 1, transport knet
nodeid: 3 reachable
  LINK: 0 udp (10.10.20.150->10.10.20.152) enabled connected mtu: 1397
  LINK: 1 udp (192.168.1.150->192.168.1.152) enabled connected mtu: 1397

nodeid: 4 reachable
  LINK: 0 udp (10.10.20.150->10.10.20.153) enabled connected mtu: 1397
  LINK: 1 udp (192.168.1.150->192.168.1.153) enabled connected mtu: 1397

nodeid: 5 reachable
  LINK: 0 udp (10.10.20.150->10.10.20.154) enabled connected mtu: 1397
  LINK: 1 udp (192.168.1.150->192.168.1.154) enabled connected mtu: 1397

root@prox1:~#

root@prox1:~# pvesm status

Name             Type     Status           Total            Used       Available        %
backup1           pbs     active      1885686784       662208896      1223477888   35.12%
backup2           pbs     active      1885706112       658345856      1227360256   34.91%
backup3           pbs     active      2129629056       393100160      1736528896   18.46%
local             dir     active        40379648        21153840        17142380   52.39%
local-lvm     lvmthin   disabled               0               0               0      N/A
nas1              nfs     active      1876048896         4664320      1871384576    0.25%
nas2              nfs     active      1876132864         4664320      1871468544    0.25%
zpool1        zfspool     active      1885863936      1041320212       844543724   55.22%
28.05.2025 10:03:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333033/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333033/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 10:03:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не могли бы вы, пожалуйста, показать нам вывод команд ```corosync-cfgtool -n``` и ```pvesm status```?
28.05.2025 09:48:00, Maximiliano.]]> http://proxmox.su/forum/messages/forum63/message333032/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333032/78891-klaster-ve-s-5-serverami-_-problema. Wed, 28 May 2025 09:48:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
И вот это corosync:
Code: logging {
 debug: off
 to_syslog: yes
}

nodelist {
 node {
   name: prox1
   nodeid: 1
   quorum_votes: 1
   ring0_addr: 10.10.20.150
   ring1_addr: 192.168.1.150
 }
 node {
   name: prox3
   nodeid: 3
   quorum_votes: 1
   ring0_addr: 10.10.20.152
   ring1_addr: 192.168.1.152
 }
 node {
   name: prox4
   nodeid: 4
   quorum_votes: 1
   ring0_addr: 10.10.20.153
   ring1_addr: 192.168.1.153
 }
 node {
   name: prox5
   nodeid: 5
   quorum_votes: 1
   ring0_addr: 10.10.20.154
   ring1_addr: 192.168.1.154
 }
}

quorum {
 provider: corosync_votequorum
}

totem {
 cluster_name: site
 config_version: 15
 ip_version: ipv4
 secauth: on
 version: 2

 interface {
   ringnumber: 0
   bindnetaddr: 10.10.20.0
   mcastport: 5405
   ttl: 1
 }

 interface {
   ringnumber: 1
   bindnetaddr: 192.168.1.0
   mcastport: 5406
   ttl: 1
 }
}
27.05.2025 18:48:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333031/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333031/78891-klaster-ve-s-5-serverami-_-problema. Tue, 27 May 2025 18:48:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы изменили сетевую конфигурацию, так что теперь она выглядит вот так: также добавим сеть для резервного копирования и локальной серверной LAN, возможно, я смогу выложить финальную конфигурацию завтра.

Code: auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto enp2s0f0
iface enp2s0f0 inet manual

auto enp2s0f1
iface enp2s0f1 inet manual

auto bond0
iface bond0 inet manual
   bond-slaves enp1s0f0 enp1s0f1
   bond-miimon 100
   bond-mode 802.3ad
   bond-xmit-hash-policy layer2+3
#adm

auto bond0.20
iface bond0.20 inet manual
#cluster

auto bond0.30
iface bond0.30 inet manual
#storage

auto bond0.3500
iface bond0.3500 inet manual
#wan

auto vmbr0
iface vmbr0 inet static
   address 192.168.1.150/24
   gateway 192.168.1.1
   bridge-ports bond0
   bridge-stp off
   bridge-fd 0
#adm

auto vmbr1
iface vmbr1 inet static
   address 10.10.20.150/24
   bridge-ports bond0.20
   bridge-stp off
   bridge-fd 0
#cluster

auto vmbr2
iface vmbr2 inet static
   address 10.10.30.150/24
   bridge-ports bond0.30
   bridge-stp off
   bridge-fd 0
#storage

auto vmbr3
iface vmbr3 inet manual
   bridge-ports enp2s0f0
   bridge-stp off
   bridge-fd 0
   bridge-vlan-aware yes
   bridge-vids 3500
#wan

source /etc/network/interfaces.d/*
27.05.2025 18:46:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333030/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333030/78891-klaster-ve-s-5-serverami-_-problema. Tue, 27 May 2025 18:46:00 +0300 Proxmox Виртуальная Среда Кластер VE с 5 серверами – проблема. Кластер VE с 5 серверами – проблема. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у нас есть VE-кластер с 5 серверами, все серверы: Supermicro Server CSE-819U 2x 14-Core Xeon E5-2690 v4 2,6GHz 128GB 9361-8i prox1 до prox5 имеют одинаковую сетевую конфигурацию 192.168.1.150-154 (adminnet).

На каждом сервере работают 2-3 VM с локальным ZFS-хранилищем, есть общие хранилища и 3 backup-сервера в кластере, общие хранилища находятся в той же сети, а backup-сервера тоже в той же сети.

Странное дело, кластер работает не очень хорошо с 5 серверами онлайн, потому что prox2 отключается, - smartdog выключает prox2, - prox2 снова включается, но не выходит в онлайн. В кластере я вижу, что prox2 оффлайн, приходится хард-ресетить сервер.

Мы заменили оборудование на prox2, включая сетевую карту и материнскую плату. После того, как мы заменили все оборудование, сервер работал в автономном режиме с Proxmox и тестовой VM без проблем.

Сейчас, спустя 10 дней, мы добавили prox2 в кластер, и он отключается через примерно час. Когда мы удаляем сервер из кластера, все работает без проблем.

Разница между prox2 и остальными серверами в том, что prox2 был свежеустановлен с версии 8.2 и обновлен до 8.3, а остальные серверы установлены с версии 8.0 и обновлены до 8.4. Внутренняя сеть - 10Gig net, HA активирован практически на всех VM. Все установки Proxmox программного обеспечения стандартные и сейчас работают на версии 8.4.

Есть какие-нибудь идеи, что происходит?
23.05.2025 09:41:00, linhu.]]> http://proxmox.su/forum/messages/forum63/message333029/78891-klaster-ve-s-5-serverami-_-problema. http://proxmox.su/forum/messages/forum63/message333029/78891-klaster-ve-s-5-serverami-_-problema. Fri, 23 May 2025 09:41:00 +0300 Proxmox Виртуальная Среда