+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Кластер VE с 5 серверами – проблема., Proxmox Виртуальная Среда

linhu

Guest

23.05.2025 09:41:00

Привет, у нас есть VE-кластер с 5 серверами, все серверы: Supermicro Server CSE-819U 2x 14-Core Xeon E5-2690 v4 2,6GHz 128GB 9361-8i prox1 до prox5 имеют одинаковую сетевую конфигурацию 192.168.1.150-154 (adminnet).

На каждом сервере работают 2-3 VM с локальным ZFS-хранилищем, есть общие хранилища и 3 backup-сервера в кластере, общие хранилища находятся в той же сети, а backup-сервера тоже в той же сети.

Странное дело, кластер работает не очень хорошо с 5 серверами онлайн, потому что prox2 отключается, - smartdog выключает prox2, - prox2 снова включается, но не выходит в онлайн. В кластере я вижу, что prox2 оффлайн, приходится хард-ресетить сервер.

Мы заменили оборудование на prox2, включая сетевую карту и материнскую плату. После того, как мы заменили все оборудование, сервер работал в автономном режиме с Proxmox и тестовой VM без проблем.

Сейчас, спустя 10 дней, мы добавили prox2 в кластер, и он отключается через примерно час. Когда мы удаляем сервер из кластера, все работает без проблем.

Разница между prox2 и остальными серверами в том, что prox2 был свежеустановлен с версии 8.2 и обновлен до 8.3, а остальные серверы установлены с версии 8.0 и обновлены до 8.4. Внутренняя сеть - 10Gig net, HA активирован практически на всех VM. Все установки Proxmox программного обеспечения стандартные и сейчас работают на версии 8.4.

Есть какие-нибудь идеи, что происходит?

linhu

Guest

27.05.2025 18:46:00

Мы изменили сетевую конфигурацию, так что теперь она выглядит вот так: также добавим сеть для резервного копирования и локальной серверной LAN, возможно, я смогу выложить финальную конфигурацию завтра.

Code: auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto enp2s0f0
iface enp2s0f0 inet manual

auto enp2s0f1
iface enp2s0f1 inet manual

auto bond0
iface bond0 inet manual
bond-slaves enp1s0f0 enp1s0f1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3
#adm

auto bond0.20
iface bond0.20 inet manual
#cluster

auto bond0.30
iface bond0.30 inet manual
#storage

auto bond0.3500
iface bond0.3500 inet manual
#wan

auto vmbr0
iface vmbr0 inet static
address 192.168.1.150/24
gateway 192.168.1.1
bridge-ports bond0
bridge-stp off
bridge-fd 0
#adm

auto vmbr1
iface vmbr1 inet static
address 10.10.20.150/24
bridge-ports bond0.20
bridge-stp off
bridge-fd 0
#cluster

auto vmbr2
iface vmbr2 inet static
address 10.10.30.150/24
bridge-ports bond0.30
bridge-stp off
bridge-fd 0
#storage

auto vmbr3
iface vmbr3 inet manual
bridge-ports enp2s0f0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 3500
#wan

source /etc/network/interfaces.d/*

linhu

Guest

27.05.2025 18:48:00

И вот это corosync:
Code: logging {
debug: off
to_syslog: yes
}

nodelist {
node {
name: prox1
nodeid: 1
quorum_votes: 1
ring0_addr: 10.10.20.150
ring1_addr: 192.168.1.150
}
node {
name: prox3
nodeid: 3
quorum_votes: 1
ring0_addr: 10.10.20.152
ring1_addr: 192.168.1.152
}
node {
name: prox4
nodeid: 4
quorum_votes: 1
ring0_addr: 10.10.20.153
ring1_addr: 192.168.1.153
}
node {
name: prox5
nodeid: 5
quorum_votes: 1
ring0_addr: 10.10.20.154
ring1_addr: 192.168.1.154
}
}

quorum {
provider: corosync_votequorum
}

totem {
cluster_name: site
config_version: 15
ip_version: ipv4
secauth: on
version: 2

interface {
ringnumber: 0
bindnetaddr: 10.10.20.0
mcastport: 5405
ttl: 1
}

interface {
ringnumber: 1
bindnetaddr: 192.168.1.0
mcastport: 5406
ttl: 1
}
}

Maximiliano Guest	#4 0 28.05.2025 09:48:00 Не могли бы вы, пожалуйста, показать нам вывод команд ```corosync-cfgtool -n``` и ```pvesm status```?

linhu

Guest

28.05.2025 10:03:00

prox2 будет добавлен в ближайшие дни.

Код: root@prox1:~# corosync-cfgtool -n

Local node ID 1, transport knet
nodeid: 3 reachable
LINK: 0 udp (10.10.20.150->10.10.20.152) enabled connected mtu: 1397
LINK: 1 udp (192.168.1.150->192.168.1.152) enabled connected mtu: 1397

nodeid: 4 reachable
LINK: 0 udp (10.10.20.150->10.10.20.153) enabled connected mtu: 1397
LINK: 1 udp (192.168.1.150->192.168.1.153) enabled connected mtu: 1397

nodeid: 5 reachable
LINK: 0 udp (10.10.20.150->10.10.20.154) enabled connected mtu: 1397
LINK: 1 udp (192.168.1.150->192.168.1.154) enabled connected mtu: 1397

root@prox1:~#

root@prox1:~# pvesm status

Name Type Status Total Used Available %
backup1 pbs active 1885686784 662208896 1223477888 35.12%
backup2 pbs active 1885706112 658345856 1227360256 34.91%
backup3 pbs active 2129629056 393100160 1736528896 18.46%
local dir active 40379648 21153840 17142380 52.39%
local-lvm lvmthin disabled 0 0 0 N/A
nas1 nfs active 1876048896 4664320 1871384576 0.25%
nas2 nfs active 1876132864 4664320 1871468544 0.25%
zpool1 zfspool active 1885863936 1041320212 844543724 55.22%

Maximiliano

Guest

28.05.2025 10:07:00

Мы рекомендуем иметь как минимум одну выделенную сетевую карту (NIC) для Corosync, и эта сетевая карта должна быть подключена к Corosync напрямую, без объединения в bond. Corosync может обеспечивать избыточность нативно, а объединение в bond увеличивает задержку, Corosync чрезвычайно чувствителен к задержкам. Мы рекомендуем давать Corosync как минимум две разные линии связи. В вашем примере обе сети Corosync работают на одном bond0, просто с разными VLAN. Так что, если одна сеть будет перегружена, у вас возникнет fence.

linhu Guest	#7 0 28.05.2025 10:12:00 У нас освободился ещё один NIC на всех серверах, мы добавим их как выделенный NIC для Corosync. Спасибо за помощь, добавлю их сегодня и выложу конфиг позже.

Maximiliano

Guest

28.05.2025 10:58:00

Окей, можно использовать команду `corosync-cfgtool -n`, чтобы проверить, работают ли все соединения нормально (лучше узнать заранее, что резервное соединение настроено неправильно, чем в момент переключения). Если инструмент показывает "enabled" и "connected" для всех соединений и они на тех интерфейсах, которые вы определили, для всех узлов, то, скорее всего, всё в порядке. Посмотрите нашу документацию, там объясняется, как менять конфигурацию corosync [1]. Обратите внимание, что изменения вступят в силу только если значение версии конфигурации увеличится. Некоторые специфические изменения могут потребовать перезапуска службы corosync вручную, но об этом будет написано в системных логах. [1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_configuration

linhu

Guest

28.05.2025 15:37:00

Теперь интерфейс выглядит так:

Код: # настройки сетевого интерфейса; автоматически сгенерировано
# Пожалуйста, НЕ изменяйте этот файл напрямую, если вы не знаете, что делаете.
#
# Если вам нужно управлять частью сетевой конфигурации вручную,
# используйте директивы 'source' или 'source-directory' для этого.
# PVE будет сохранять эти директивы, но НЕ будет считывать свою сетевую
# конфигурацию из внешних файлов, поэтому не пытайтесь переместить какие-либо
# интерфейсы, управляемые PVE, во внешние файлы!

auto lo
iface lo inet loopback

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto enp2s0f0
iface enp2s0f0 inet manual

auto enp2s0f1
iface enp2s0f1 inet manual

auto enp2s0f1.20
iface enp2s0f1.20 inet manual
# VLAN 20 на enp2s0f1

auto bond0
iface bond0 inet manual
bond-slaves enp1s0f0 enp1s0f1
bond-miimon 100
bond-mode 802.3ad
bond-xmit-hash-policy layer2+3
#adm

auto bond0.30
iface bond0.30 inet manual
#storage

auto bond0.3500
iface bond0.3500 inet manual
#wan

auto bond0.40
iface bond0.40 inet manual
#backup

auto bond0.55
iface bond0.55 inet manual
#serverlan

auto vmbr0
iface vmbr0 inet static
address 192.168.1.150/24
gateway 192.168.1.1
bridge-ports bond0
bridge-stp off
bridge-fd 0
#adm

auto vmbr1
iface vmbr1 inet static
address 10.10.20.150/24
bridge-ports enp2s0f1.20
bridge-stp off
bridge-fd 0
#cluster

auto vmbr2
iface vmbr2 inet static
address 10.10.30.150/24
bridge-ports bond0.30
bridge-stp off
bridge-fd 0
#storage

auto vmbr3
iface vmbr3 inet manual
bridge-ports enp2s0f0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 3500
#wan

auto vmbr4
iface vmbr4 inet static
address 10.10.40.150/24
bridge-ports bond0.40
bridge-stp off
bridge-fd 0
#backup

auto vmbr5
iface vmbr5 inet manual
bridge-ports bond0.55
bridge-stp off
bridge-fd 0
#serverlan

source /etc/network/interfaces.d/*

linhu

Guest

#10

28.05.2025 15:51:00

Слушай, как там пинг-статистика? Код: oot@prox1:~# ping 10.10.20.152
PING 10.10.20.152 (10.10.20.152) 56(84) bytes of data.
64 bytes from 10.10.20.152: icmp_seq=1 ttl=64 time=0.229 ms
64 bytes from 10.10.20.152: icmp_seq=2 ttl=64 time=0.169 ms
64 bytes from 10.10.20.152: icmp_seq=3 ttl=64 time=0.178 ms
^C
--- 10.10.20.152 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2042ms
rtt min/avg/max/mdev = 0.169/0.192/0.229/0.026 ms
root@prox1:~# ping 10.10.20.153
PING 10.10.20.153 (10.10.20.153) 56(84) bytes of data.
64 bytes from 10.10.20.153: icmp_seq=1 ttl=64 time=0.134 ms
64 bytes from 10.10.20.153: icmp_seq=2 ttl=64 time=0.160 ms
64 bytes from 10.10.20.153: icmp_seq=3 ttl=64 time=0.195 ms
^C
--- 10.10.20.153 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2069ms
rtt min/avg/max/mdev = 0.134/0.163/0.195/0.025 ms
root@prox1:~# ping 10.10.20.154
PING 10.10.20.154 (10.10.20.154) 56(84) bytes of data.
64 bytes from 10.10.20.154: icmp_seq=1 ttl=64 time=0.218 ms
64 bytes from 10.10.20.154: icmp_seq=2 ttl=64 time=0.208 ms
64 bytes from 10.10.20.154: icmp_seq=3 ttl=64 time=0.230 ms
^C
--- 10.10.20.154 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2045ms
rtt min/avg/max/mdev = 0.208/0.218/0.230/0.009 ms
root@prox1:~# ping 10.10.20.15

Maximiliano

Guest

#11

28.05.2025 16:46:00

Выглядит лучше. Пожалуйста, убедитесь, что по первому соединению работает только corosync (например, нет управляющего трафика, трафика виртуальных машин или резервного копирования ВМ). Если вы до сих пор используете 10.10.20.150/24 в качестве основного соединения Corosync, то эта подсеть обрабатывается vmbr1, вы могли бы упростить это и определить такой IP-адрес напрямую на `enp2s0f1.20` вместо того, чтобы добавлять поверх него мост. Это можно сделать, если виртуальные машины не используют vmbr1.

linhu Guest	#12 0 28.05.2025 18:08:00 Ну ладно, ок, это тоже будет опцией. Мы добавим prox2 на следующей неделе, так что надеюсь, заработает, потому что у нас ещё 5 серверов, которые мы добавим в этот кластер.

linhu

Guest

#13

03.06.2025 13:20:00

Теперь к кластеру добавлен prox2. Вот результаты пинга по сети кластера:

Code: root@prox1:~# ping 10.10.20.151
PING 10.10.20.151 (10.10.20.151) 56(84) bytes of data.
64 bytes from 10.10.20.151: icmp_seq=1 ttl=64 time=0.216 ms
64 bytes from 10.10.20.151: icmp_seq=2 ttl=64 time=0.235 ms
^C
--- 10.10.20.151 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1046ms
rtt min/avg/max/mdev = 0.216/0.225/0.235/0.009 ms
root@prox1:~# ping 10.10.20.152
PING 10.10.20.152 (10.10.20.152) 56(84) bytes of data.
64 bytes from 10.10.20.152: icmp_seq=1 ttl=64 time=0.165 ms
64 bytes from 10.10.20.152: icmp_seq=2 ttl=64 time=0.168 ms
^C
--- 10.10.20.152 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1010ms
rtt min/avg/max/mdev = 0.165/0.166/0.168/0.001 ms
root@prox1:~# ping 10.10.20.153
PING 10.10.20.153 (10.10.20.153) 56(84) bytes of data.
64 bytes from 10.10.20.153: icmp_seq=1 ttl=64 time=0.207 ms
^C
--- 10.10.20.153 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.207/0.207/0.207/0.000 ms
root@prox1:~# ping 10.10.20.154
PING 10.10.20.154 (10.10.20.154) 56(84) bytes of data.
64 bytes from 10.10.20.154: icmp_seq=1 ttl=64 time=0.157 ms
64 bytes from 10.10.20.154: icmp_seq=2 ttl=64 time=0.157 ms
^C
--- 10.10.20.154 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1048ms
rtt min/avg/max/mdev = 0.157/0.157/0.157/0.000 ms
root@prox1:~# ping 10.10.20.150
PING 10.10.20.150 (10.10.20.150) 56(84) bytes of data.
64 bytes from 10.10.20.150: icmp_seq=1 ttl=64 time=0.034 ms
64 bytes from 10.10.20.150: icmp_seq=2 ttl=64 time=0.035 ms
^C
--- 10.10.20.150 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1060ms
rtt min/avg/max/mdev = 0.034/0.034/0.035/0.000 ms
root@prox1:~#

linhu

Guest

#14

05.06.2025 09:15:00

Опять кластер офлайн, после того, как мы добавили prox2 в кластер. Сейчас выясняем причину и отправим логи как можно скорее. Код: Узел 'prox2' в кластере 'site' дал сбой и требует ручного вмешательства.

Менеджер PVE HA сейчас изолирует 'prox2'.

Статус: Попытка изолировать узел 'prox2'
Временная метка: 2025-06-05 06:45:03
Статус узлов кластера:

prox1: онлайн [master]
prox2: неизвестно
prox3: онлайн
prox4: онлайн
prox5: онлайн

Ресурсы HA:
На отказавшем узле работали следующие ресурсы HA и будут восстановлены на исправном узле, если это возможно:

vm:105 [prox2]: запущен

Другие ресурсы HA в этом кластере:

vm:100 [prox1]: запущен
vm:101 [prox1]: запущен
vm:102 [prox3]: запущен
vm:103 [prox3]: запущен
vm:104 [prox1]: запущен
vm:106 [prox4]: запущен
vm:107 [prox4]: запущен
vm:240 [prox5]: запущен

linhu

Guest

#15

05.06.2025 09:54:00

from prox1: Код: 05.06 06:46:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'восстановление' на 'запущен' (узел = prox5)
05.06 06:46:13 pve-ha-crm[3336]: восстанавливается сервис 'vm:105' с заблокированного узла 'prox2' на узел 'prox5'
05.06 06:46:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'блокировка' на 'восстановление'
05.06 06:46:13 perl[3336]: уведомлено через цель `mail-to-root`
05.06 06:46:13 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'блокировка' => 'неизвестно'
05.06 06:46:13 pve-ha-crm[3336]: блокировка: подтверждено - получен агентский лок для узла 'prox2'
05.06 06:46:13 pve-ha-crm[3336]: успешно получен лок 'ha_agent_prox2_lock'
05.06 06:45:13 perl[3336]: уведомлено через цель `mail-to-root`
05.06 06:45:13 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'неизвестно' => 'блокировка'
05.06 06:45:13 pve-ha-crm[3336]: сервис 'vm:105': состояние изменилось с 'запущен' на 'блокировка'
05.06 06:44:23 pve-ha-crm[3336]: узел 'prox2': состояние изменилось с 'онлайн' => 'неизвестно' pve-cluster: Код: 05.06 09:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 09:00:05 pmxcfs[2689]: [status] уведомление: получен лог
05.06 09:00:05 pmxcfs[2689]: [status] уведомление: получен лог
05.06 09:00:00 pmxcfs[2689]: [status] уведомление: получен лог
05.06 08:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 07:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 06:46:25 pmxcfs[2689]: [status] уведомление: получен лог
05.06 06:46:23 pmxcfs[2689]: [status] уведомление: получен лог
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: dfsm_deliver_queue: длина очереди 49
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: все данные актуальны
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: получены все состояния
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: dfsm_deliver_queue: длина очереди 15
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: все данные актуальны
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: отправлены все (0) обновления
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: начать отправку обновлений inode
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: синхронизированы члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: лидер – 1/2689
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: получены все состояния
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: получен запрос синхронизации (эпоха 1/2689/00000012)
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: получен запрос синхронизации (эпоха 1/2689/00000013)
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: начинается синхронизация данных
05.06 06:44:13 pmxcfs[2689]: [status] уведомление: члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:44:13 pmxcfs[2689]: [dcdb] уведомление: cpg_send_message повторён 1 раз
05.06 06:44:12 pmxcfs[2689]: [dcdb] уведомление: начинается синхронизация данных
05.06 06:44:12 pmxcfs[2689]: [dcdb] уведомление: члены: 1/2689, 3/4291, 4/2505, 5/2544
05.06 06:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 05:49:23 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:49:20 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно
05.06 05:00:04 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:03 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:01 pmxcfs[2689]: [status] уведомление: получен лог
05.06 05:00:01 pmxcfs[2689]: [status] уведомление: получен лог
05.06 00:24:45 pmxcfs[2689]: [dcdb] уведомление: проверка данных прошла успешно я отправил ping на prox2 без результата, так что он был полностью офлайн, я остановил сервер аппаратной кнопкой.

linhu Guest	#16 0 05.06.2025 15:29:00 После того, как мы перезапустили prox2, он заработал без проблем.

Maximiliano Guest	#17 0 26.05.2025 10:59:00 Привет! Не могли бы вы поделиться содержимым файла /etc/pve/corosync.conf и результатом выполнения команды ```pvesm status```, когда нода 2 онлайн? Пожалуйста, попробуйте пинговать ноду 2 со всех остальных нод и сообщите нам о наибольшей задержке. Corosync очень чувствителен к задержкам, об этом [1]. [1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pvecm_cluster_network_requirements

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры