Аспро: ЛайтШоп [тема: Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.]

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Mon, 07 Feb 2022 04:30:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для тех, кто ищет информацию в Google, я, похоже, наткнулся на эту ошибку в Proxmox-VE 6.4-13. Оказалось, что у меня был настроен сервер метрик Graphite с использованием UDP, но сервер оказался offline. Система стала практически неотзывчивой, на консоли появилось множество сообщений о недостатке памяти. Когда мне наконец удалось войти, я заметил, что запущено тысячи процессов pvestatd. После завершения всех этих процессов все вернулось в норму. После перезагрузки и наблюдения за pvestatd я заметил, что RAM медленно увеличивалась для этого процесса, примерно каждый раз, когда в `journalctl` сообщалось, что сервер Graphite недоступен. Я убрал сервер метрик Graphite (через GUI), и pvestatd, похоже, стал стабильным, посмотрим, как будет через несколько дней. Если не увидите последующего сообщения, значит, это, вероятно, и сработало для меня. Подумал, что людям будет интересно знать, что проблема все еще существует в 6.4-13. Я, возможно, не буду снова включать сбор метрик (потребность не совсем велика), если только не захочу попробовать еще раз (или протестировать другое ПО). Также, вероятно, я обновлюсь до 7.x в следующие пару недель. Снова, маловероятно, что я снова включу сбор метрик, но если сделаю это, я сообщу, если у меня возникнет эта проблема снова. Спасибо всем в этой теме. Помогли мне разобраться, что происходило.
07.02.2022 04:30:00, jamesharr.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Tue, 10 Nov 2020 05:50:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На прошлой неделе мы поменяли udp на tcp в status.cfg. На последнем круге у нас не было сбоев. Будем дальше наблюдать и, возможно, попробуем udp с новой функцией mtu для status.cfg.
10.11.2020 05:50:00, ChristianW.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Mon, 02 Nov 2020 12:06:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хм, у нас действительно похожая настройка: виртуальная машина с OPNSense и туннелем WireGuard к Grafana/Graphite. Proxmox передает метрики через этот туннель. В нашем случае у нас базовая система Debian с установленным Proxmox. Наши проблемы начались с последнего обновления дистрибутива, которое мы сделали 9.10.2020.
02.11.2020 12:06:00, ChristianW.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Sun, 25 Oct 2020 13:55:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Определенно НЕ решено, однако мне удалось стабилизировать использование памяти до более обычного уровня, когда я остановил LXC-контейнер с Grafana/Influx DB (Ubuntu 18.04), который мониторил тот же PVE-хост. Что-то в pvestatd, похоже, испытывает трудности с таким типом использования ресурсов.
25.10.2020 13:55:00, blebo.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Sat, 24 Oct 2020 22:49:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, есть какие-то новости по этому вопросу? Мы сталкиваемся с той же проблемой, только циклы возникновения происходят примерно раз в семь дней. Вероятно, это началось с обновления 14 дней назад.
24.10.2020 22:49:00, ChristianW.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Mon, 07 Feb 2022 08:59:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
По воспоминаниям, проблема все еще присутствовала в ранних релизах версии 7.0. С тех пор не было возможности снова к ней вернуться.
07.02.2022 08:59:00, blebo.

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется.

Thu, 01 Oct 2020 10:00:00 +0300

Утечка pvestatd создает более 3000 процессов, использует всю оперативную память и своп, и зависает/перезагружает машину каждые 4 часа. Затем повторяется. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это произошло с последними обновлениями PVE 6.1 (кажется) и определенно на протяжении всей PVE 6.2 (включая 6.2-12) с марта 2020 года. До этого система работала без сбоев около 1.5 лет. Нормальное использование — примерно 10-12 Гб (из 32 Гб всего). Посмотрите прикрепленное изображение для цикла. Недавно я заметил, что если я останавливаю службу pvestatd через GUI до того, как утечка затронет SWAP, и она успешно останавливается, то утечка памяти останавливается и мгновенно очищается. Однако после повторного запуска pvestatd начинается очередной 4-часовой цикл с самого начала. Я следил за количеством процессов pvestatd, используя следующую команду (в крон-скрипте каждые 5 минут), где я регулярно вижу более 3000 процессов pvestatd: ps -eo pid,ppid,cmd,%mem,%cpu,vsz,rss --sort=-%mem | grep pvestatd | wc -l Кеш RAM ZFS, похоже, работает и постепенно уменьшает свой объем, пока утечка pvestatd не достигает 100% RAM — наблюдение с помощью следующей команды: awk '/^size/ { print $1 " " $3 / 1048576 }' < /proc/spl/kstat/zfs/arcstats Версии пакетов: Код: proxmox-ve: 6.2-2 (работающий ядро: 5.4.65-1-pve) pve-manager: 6.2-12 (работающая версия: 6.2-12/b287dd27) pve-kernel-5.4: 6.2-7 pve-kernel-helper: 6.2-7 pve-kernel-5.3: 6.1-6 pve-kernel-5.4.65-1-pve: 5.4.65-1 pve-kernel-5.4.60-1-pve: 5.4.60-2 pve-kernel-5.4.55-1-pve: 5.4.55-1 pve-kernel-5.3.18-3-pve: 5.3.18-3 ceph-fuse: 12.2.13-pve1 corosync: 3.0.4-pve1 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: не установлен корректно ifupdown2: 3.0.0-1+pve3 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.16-pve1 libproxmox-acme-perl: 1.0.5 libpve-access-control: 6.1-2 libpve-apiclient-perl: 3.0-3 libpve-common-perl: 6.2-2 libpve-guest-common-perl: 3.1-3 libpve-http-server-perl: 3.0-6 libpve-storage-perl: 6.2-6 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve4 lxc-pve: 4.0.3-1 lxcfs: 4.0.3-pve3 novnc-pve: 1.1.0-1 openvswitch-switch: 2.12.0-1 proxmox-backup-client: 0.8.21-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.2-12 pve-cluster: 6.1-8 pve-container: 3.2-2 pve-docs: 6.2-6 pve-edk2-firmware: 2.20200531-1 pve-firewall: 4.1-3 pve-firmware: 3.1-3 pve-ha-manager: 3.1-1 pve-i18n: 2.2-1 pve-qemu-kvm: 5.1.0-2 pve-xtermjs: 4.7.0-2 qemu-server: 6.2-14 smartmontools: 7.1-pve2 spiceterm: 3.1-1 vncterm: 1.6-2 zfsutils-linux: 0.8.4-pve1 Буду признателен за любую помощь. Дайте знать, если нужна дополнительная информация. Спасибо!
01.10.2020 10:00:00, blebo.