Аспро: ЛайтШоп [тема: pveproxy завис.]

pveproxy завис.

Sun, 21 Jul 2024 20:07:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Коротко: решил командой `killall -9 pmxcfs; pmxcfs`.

Покопался поглубже...

Код: root@nodeB:~# mount -o remount /etc/pve
/bin/sh: 1: /dev/fuse: Permission denied
Node B~# find /etc/pve .. выдает обычный вывод... до "/etc/pve/priv", а потом зависает.

Код: ls /etc/pve/priv/lock/
***ВИСАЕТ***

Код: root@nodeB:~# /usr/bin/pmxcfs
[main] notice: resolved node name 'nodeb' to '10.0.0.43' for default node IP address
[main] notice: unable to acquire pmxcfs lock - trying again

[main] crit: unable to acquire pmxcfs lock: Resource temporarily unavailable
[main] notice: exit proxmox configuration filesystem (-1)

Что в итоге помогло:

Код: ps xaf | grep pmxcfs

kill -9

# pmxcfs
21.07.2024 20:07:00, Helmo.

pveproxy завис.

Sat, 20 Jul 2024 15:32:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похожая ситуация здесь. Все началось с того, что узел кластера снова вышел в онлайн после физического обслуживания (узел A) в 15:20: узел A снова онлайн, на нем нет запущенных ВМ. Я заметил значок вопроса на двух других узлах из пяти в кластере (узлы B/C). Я сталкивался с этим раньше, и иногда проблема решалась сама через день, иногда через неделю, я также перезагружал один раз, чтобы это исправить (в этот раз я смог сначала мигрировать все ВМ). В 22:02 я смог мигрировать тестовую ВМ на узел A (с узла D), что работало нормально. В 22:09 узел B: pvedaemon.service: State 'stop-sigterm' timed out. Killing. узел B: около полуночи загрузка достигла 50+ из-за всех зависших процессов, работающие ВМ все еще работают нормально. Узел C: никаких проблем. 2024-07-20: 11:07 узел B systemd[1]: pveproxy.service: Scheduled restart job, restart counter is at 100. узел B: загрузка 100+ из-за зависших процессов, на самом деле не очень загружен. Узел E сообщает pvecm status OK, со всеми 5 узлами в кворуме. узел b: corosync daemon status OK. узел B: Code: ● pveproxy.service - PVE API Proxy Server
Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; preset: enabled)
Active: deactivating (final-sigkill) (Result: timeout) since Fri 2024-07-19 22:21:44 CEST; 14h ago
Process: 1332441 ExecStartPre=/usr/bin/pvecm updatecerts --silent (code=killed, signal=KILL)
Tasks: 115 (limit: 308748)
Memory: 5.0G
CPU: 332ms
CGroup: /system.slice/pveproxy.service
├─ 925626 /usr/bin/perl -T /usr/bin/pveproxy stop
├─ 933079 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 936551 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 940075 /usr/bin/perl /usr/bin/pvecm updatecerts --silent
├─ 943420 /usr/bin/perl /usr/bin/pvecm updatecerts --silent

... и многие другие строки с updatecerts, за которыми следуют дюжина "pveproxy.service: Killing process 1298761 (pvecm) with signal SIGKILL.". Узел B: `qm list` тоже виснет. Узел B: `strace -p` на зависшем процессе не дал новой информации. Узел B: pveversion -v Code: proxmox-ve: 8.2.0 (running kernel: 6.8.4-2-pve)
pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
proxmox-kernel-helper: 8.1.0
proxmox-kernel-6.8: 6.8.4-2
proxmox-kernel-6.8.4-2-pve-signed: 6.8.4-2
ceph-fuse: 17.2.7-pve3
corosync: 3.1.7-pve3
criu: 3.17.1-2
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx8
ksm-control-daemon: 1.5-1
libjs-extjs: 7.0.0-4
libknet1: 1.28-pve1
libproxmox-acme-perl: 1.5.0
libproxmox-backup-qemu0: 1.4.1
libproxmox-rs-perl: 0.3.3
libpve-access-control: 8.1.4
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.0.6
libpve-cluster-perl: 8.0.6
libpve-common-perl: 8.2.1
libpve-guest-common-perl: 5.1.1
libpve-http-server-perl: 5.1.0
libpve-network-perl: 0.9.8
libpve-rs-perl: 0.8.8
libpve-storage-perl: 8.2.1
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.4.0-3
proxmox-backup-client: 3.2.0-1
proxmox-backup-file-restore: 3.2.0-1
proxmox-kernel-helper: 8.1.0
proxmox-mail-forward: 0.2.3
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.6
proxmox-widget-toolkit: 4.2.1
pve-cluster: 8.0.6
pve-container: 5.0.10
pve-docs: 8.2.1
pve-edk2-firmware: 4.2023.08-4
pve-esxi-import-tools: 0.7.0
pve-firewall: 5.0.5
pve-firmware: 3.11-1
pve-ha-manager: 4.0.4
pve-i18n: 3.2.2
pve-qemu-kvm: 8.1.5-5
pve-xtermjs: 5.3.0-3
qemu-server: 8.2.1
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.3-pve2 Узел E # pvecm status Code: Cluster information
-------------------
Name: mox
Config Version: 20
Transport: knet
Secure auth: on

Quorum information
------------------
Date: Sat Jul 20 09:53:13 2024
Quorum provider: corosync_votequorum
Nodes: 5
Node ID: 0x00000004
Ring ID: 1.1691
Quorate: Yes

Votequorum information
----------------------
Expected votes: 5
Highest expected: 5
Total votes: 5
Quorum: 3
Flags: Quorate

Membership information
----------------------
Nodeid Votes Name
0x00000001 1 10.0.0.5
0x00000002 1 10.0.0.43
0x00000004 1 10.0.0.42 (local)
0x00000006 1 10.0.0.15
0x00000007 1 10.0.0.239 - NTP отслеживается на всех узлах, и разница составляет менее 0.0001 секунды. Я не думаю, что смогу выполнить живую миграцию, пользовательский интерфейс отказывается с "Connection error 595: Connection refused", а cli уже виснет с qm list ... поэтому при перезагрузке придется выключать все ВМ.
20.07.2024 15:32:00, Helmo.

pveproxy завис.

Thu, 14 Dec 2023 15:44:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если вам приходится перезагружать что-либо, чтобы исправить проблему, которая по сути является проблемой синхронизации времени, значит, в настройке что-то очень не так.
14.12.2023 15:44:00, esi_y.

pveproxy завис.

Thu, 14 Dec 2023 13:39:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Проблема заключалась в рассинхронизации NTP между всеми машинами. 2 сервера, на которые оно опиралось, были оффлайне. Это вызвало проблемы с одним из узлов и сломало chronosync, из-за чего куча сервисов зависла в спящем состоянии. Помогло только перезагрузить. Работает теперь. Обсуждение тут > https://forum.proxmox.com/threads/master-node-in-cluster-cant-restart-pvedeamon-or-pveproxy.138080/
14.12.2023 13:39:00, henryd99.

pveproxy завис.

Thu, 14 Dec 2023 11:24:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На самом деле, для меня это было 2 года назад, так что мой кластер развился. Были сделаны обновления, и эта машина была списана. Надеюсь, @henryd99 найдёт решение! (держим кулачки). С уважением.
14.12.2023 11:24:00, greg.

pveproxy завис.

Wed, 13 Dec 2023 20:22:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, вы оба расскажете нам подробнее о ваших настройках? Может быть, опишите, как это проявляется, после какого-то действия происходит, можно ли это воспроизвести. Что может быть в логах, как выглядит сама система (доступна ли информация о мониторинге/метриках?)? Должна быть причина этому, и это, конечно, можно решить.
13.12.2023 20:22:00, sb-jw.

pveproxy завис.

Wed, 13 Dec 2023 20:13:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Что показывают journalctl -u pveproxy -u pvedaemon на этих? Это для узлов кластера, у которых есть кворум? На каждом затронутом узле pvecm status показывает Quorate: yes?
13.12.2023 20:13:00, esi_y.

pveproxy завис.

Wed, 13 Dec 2023 17:38:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Удачи, я не нашел никакого решения, кроме жёсткой перезагрузки…
13.12.2023 17:38:00, greg.

pveproxy завис.

Wed, 13 Dec 2023 16:05:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня та же самая проблема, процессы зависают.
13.12.2023 16:05:00, henryd99.

pveproxy завис.

Thu, 06 Jan 2022 16:13:00 +0300

pveproxy завис. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет!

В первые дни этого нового года мой кластер Proxmox в плохом состоянии... На одном из узлов "pveproxy" совсем завис:

Bash: root 15639 0.0 0.5 295812 89408 pts/26 D 2021 0:00 /usr/bin/perl -T /usr/bin/pvesr status
root 24233 0.0 0.5 283276 83712 ? Ds 2021 0:00 /usr/bin/perl -T /usr/bin/pveproxy restart
root 23262 0.1 0.5 283252 92200 ? Ds 15:58 0:00 /usr/bin/perl -T /usr/bin/pveproxy stop

Не получается даже принудительно убить: команда `kill -9 15639 24233 23262` ничего не делает. Статус странный:

Code: ● pveproxy.service - PVE API Proxy Server
Loaded: loaded (/lib/systemd/system/pveproxy.service; enabled; vendor preset: enabled)
Active: failed (Result: timeout) since Thu 2022-01-06 16:05:35 CET; 6min ago
Main PID: 19825 (code=exited, status=0/SUCCESS)
Tasks: 2 (limit: 4915)
Memory: 164.9M
CGroup: /system.slice/pveproxy.service
├─23262 /usr/bin/perl -T /usr/bin/pveproxy stop
└─24233 /usr/bin/perl -T /usr/bin/pveproxy restart

06 янв 16:01:04 sysv6 systemd[1]: pveproxy.service: State 'stop-sigterm' timed out. Killing.
06 янв 16:01:04 sysv6 systemd[1]: pveproxy.service: Killing process 23262 (pveproxy) with signal SIGKILL.
06 янв 16:01:04 sysv6 systemd[1]: pveproxy.service: Killing process 24233 (pveproxy) with signal SIGKILL.
06 янв 16:02:35 sysv6 systemd[1]: pveproxy.service: Processes still around after SIGKILL. Ignoring.
06 янв 16:04:05 sysv6 systemd[1]: pveproxy.service: State 'stop-final-sigterm' timed out. Killing.
06 янв 16:04:05 sysv6 systemd[1]: pveproxy.service: Killing process 24233 (pveproxy) with signal SIGKILL.
06 янв 16:04:05 sysv6 systemd[1]: pveproxy.service: Killing process 23262 (pveproxy) with signal SIGKILL.
06 янв 16:05:35 sysv6 systemd[1]: pveproxy.service: Processes still around after final SIGKILL. Entering failed mode.
06 янв 16:05:35 sysv6 systemd[1]: pveproxy.service: Failed with result 'timeout'.
06 янв 16:05:35 sysv6 systemd[1]: Stopped PVE API Proxy Server.

Короче, кроме как сервер от сети отключить, что ещё можно сделать?

Заранее спасибо!

С уважением
06.01.2022 16:13:00, greg.