Удачи, я не нашел никакого решения, кроме жёсткой перезагрузки…

Может, вы оба расскажете нам подробнее о ваших настройках? Может быть, опишите, как это проявляется, после какого-то действия происходит, можно ли это воспроизвести. Что может быть в логах, как выглядит сама система (доступна ли информация о мониторинге/метриках?)? Должна быть причина этому, и это, конечно, можно решить.

Проблема заключалась в рассинхронизации NTP между всеми машинами. 2 сервера, на которые оно опиралось, были оффлайне. Это вызвало проблемы с одним из узлов и сломало chronosync, из-за чего куча сервисов зависла в спящем состоянии. Помогло только перезагрузить. Работает теперь. Обсуждение тут > https://forum.proxmox.com/threads/master-node-in-cluster-cant-restart-pvedeamon-or-pveproxy.138080/

Похожая ситуация здесь. Все началось с того, что узел кластера снова вышел в онлайн после физического обслуживания (узел A) в 15:20: узел A снова онлайн, на нем нет запущенных ВМ. Я заметил значок вопроса на двух других узлах из пяти в кластере (узлы B/C). Я сталкивался с этим раньше, и иногда проблема решалась сама через день, иногда через неделю, я также перезагружал один раз, чтобы это исправить (в этот раз я смог сначала мигрировать все ВМ). В 22:02 я смог мигрировать тестовую ВМ на узел A (с узла D), что работало нормально. В 22:09 узел B: pvedaemon.service: State 'stop-sigterm' timed out. Killing. узел B: около полуночи загрузка достигла 50+ из-за всех зависших процессов, работающие ВМ все еще работают нормально. Узел C: никаких проблем. 2024-07-20: 11:07 узел B systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 100. узел B: загрузка 100+ из-за зависших процессов, на самом деле не очень загружен. Узел E сообщает pvecm status OK, со всеми 5 узлами в кворуме. узел b: corosync daemon status OK. узел B: Code: ● pveproxy.service - PVE API Proxy Server
Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; preset: enabled)
Active: deactivating (final-sigkill) (Result: timeout) since Fri 2024-07-19 22:21:44 CEST; 14h ago
Process: 1332441 ExecStartPre=/usr/bin/pvecm updatecerts --silent (code=killed, signal=KILL)
Tasks: 115 (limit: 308748)
Memory: 5.0G
CPU: 332ms
CGroup: /system.slice/pveproxy.service
├─ 925626 /usr/bin/perl -T /usr/bin/pveproxy stop
├─ 933079 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 936551 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 940075 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 943420 /usr/bin/perl /usr/bin/pvecm updatecerts --silent


... и многие другие строки с updatecerts, за которыми следуют дюжина "pveproxy.service: Killing process 1298761 (pvecm) with signal SIGKILL.". Узел B: `qm list` тоже виснет. Узел B: `strace -p` на зависшем процессе не дал новой информации. Узел B: pveversion -v Code: proxmox-ve: 8.2.0 (running kernel: 6.8.4-2-pve)
pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
proxmox-kernel-helper: 8.1.0
proxmox-kernel-6.8: 6.8.4-2
proxmox-kernel-6.8.4-2-pve-signed: 6.8.4-2
ceph-fuse: 17.2.7-pve3
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx8
ksm-control-daemon: 1.5-1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.1.4
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.0.6
libpve-cluster-perl: 8.0.6
libpve-common-perl: 8.2.1
libpve-guest-common-perl: 5.1.1
libpve-http-server-perl: 5.1.0
libpve-network-perl: 0.9.8
libpve-rs-perl: 0.8.8
libpve-storage-perl: 8.2.1
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.4.0-3
proxmox-backup-client: 3.2.0-1
proxmox-backup-file-restore: 3.2.0-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.3
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.6
proxmox-widget-toolkit: 4.2.1
pve-cluster: 8.0.6
pve-container: 5.0.10
pve-docs: 8.2.1
pve-edk2-firmware: 4.2023.08-4
pve-esxi-import-tools: 0.7.0
pve-firewall: 5.0.5
pve-firmware: 3.11-1
pve-ha-manager: 4.0.4
pve-i18n: 3.2.2
pve-qemu-kvm: 8.1.5-5
pve-xtermjs: 5.3.0-3
qemu-server: 8.2.1
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.3-pve2 Узел E # pvecm status Code: Cluster information
-------------------
Name:             mox
Config Version:   20
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Sat Jul 20 09:53:13 2024
Quorum provider:  corosync_votequorum
Nodes:            5
Node ID:          0x00000004
Ring ID:          1.1691
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   5
Highest expected: 5
Total votes:      5
Quorum:           3
Flags:            Quorate

Membership information
----------------------
Nodeid      Votes Name
0x00000001          1 10.0.0.5
0x00000002          1 10.0.0.43
0x00000004          1 10.0.0.42 (local)
0x00000006          1 10.0.0.15
0x00000007          1 10.0.0.239 - NTP отслеживается на всех узлах, и разница составляет менее 0.0001 секунды. Я не думаю, что смогу выполнить живую миграцию, пользовательский интерфейс отказывается с "Connection error 595: Connection refused", а cli уже виснет с qm list ... поэтому при перезагрузке придется выключать все ВМ.