Всем привет! У меня возникла проблема с контейнерами LXC: LXCFS использует около 500% процессорного времени, и выполнение команд внутри контейнеров очень медленное. Вот загрузка процессора lxcfs: "root 2475805 630 0.0 757080 20768 ? Ssl Apr07 868518:31 /usr/bin/lxcfs /var/lib/lxcfs". Я копался в одном из моих контейнеров и обнаружил, что когда любая команда пытается получить доступ к смонтированным каталогам через lxcfs, это занимает время, что приводит к задержке выполнения команды.
Информация о системе:
LXC версия: 5.0.2
LXCFS: "5.0.3"
Количество работающих контейнеров: 100
VM: 0
Версия ядра: 6.5.11-6-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-6 (2023-11-29T08:32Z) x86_64 GNU/Linux
pveversion: pveversion --verbose proxmox-ve: 8.1.0 (running kernel: 6.5.11-6-pve) pve-manager: 8.1.3 (running version: 8.1.3/b46aac3b42da5d15) proxmox-kernel-helper: 8.1.0 proxmox-kernel-6.5: 6.5.11-7 proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7 proxmox-kernel-6.5.11-6-pve-signed: 6.5.11-6 proxmox-kernel-6.5.11-4-pve-signed: 6.5.11-4 ceph-fuse: 17.2.7-pve1 corosync: 3.1.7-pve3 criu: 3.17.1-2 glusterfs-client: 10.3-5 ifupdown2: 3.2.0-1+pmx7 ksm-control-daemon: 1.4-1 libjs-extjs: 7.0.0-4 libknet1: 1.28-pve1 libproxmox-acme-perl: 1.5.0 libproxmox-backup-qemu0: 1.4.1 libproxmox-rs-perl: 0.3.1 libpve-access-control: 8.0.7 libpve-apiclient-perl: 3.3.1 libpve-common-perl: 8.1.0 libpve-guest-common-perl: 5.0.6 libpve-http-server-perl: 5.0.5 libpve-network-perl: 0.9.5 libpve-rs-perl: 0.8.7 libpve-storage-perl: 8.0.5 libspice-server1: 0.15.1-1 lvm2: 2.03.16-2 lxc-pve: 5.0.2-4 lxcfs: 5.0.3-pve4 novnc-pve: 1.4.0-3 proxmox-backup-client: 3.1.2-1 proxmox-backup-file-restore: 3.1.2-1 proxmox-kernel-helper: 8.1.0 proxmox-mail-forward: 0.2.2 proxmox-mini-journalreader: 1.4.0 proxmox-offline-mirror-helper: 0.6.3 proxmox-widget-toolkit: 4.1.3 pve-cluster: 8.0.5 pve-container: 5.0.8 pve-docs: 8.1.3 pve-edk2-firmware: 4.2023.08-2 pve-firewall: 5.0.3 pve-firmware: 3.9-1 pve-ha-manager: 4.0.3 pve-i18n: 3.1.4 pve-qemu-kvm: 8.1.2-4 pve-xtermjs: 5.3.0-2 qemu-server: 8.0.10 smartmontools: 7.3-pve1 spiceterm: 3.3.0 swtpm: 0.8.0+pve1 vncterm: 1.8.0 zfsutils-linux: 2.2.2-pve1
Информация об оборудовании:
CPU:
Архитектура: x86_64
Режимы работы CPU: 32-bit, 64-bit
Размер адресов: 46 bits physical, 48 bits virtual
Порядок байтов: Little Endian
Количество CPU: 56
Список активных CPU: 0-55
Vendor ID: GenuineIntel
BIOS Vendor ID: Intel
Модель: Intel® Xeon® CPU E5-2690 v4 @ 2.60GHz
Модель BIOS: Intel® Xeon® CPU E5-2690 v4 @ 2.60GHz
Семейство CPU: 179
Семейство: 6
Модель: 79
Потоков на ядро: 2
Ядер на сокет: 14
Сокеты: 2
Шаг: 1
Макс. частота CPU: 3500.0000
Мин. частота CPU: 1200.0000
BogoMIPS: 5200.10
Memory: 128 GB
Все контейнеры размещены на RAID контроллере. Модель: Broadcom / LSI MegaRAID SAS-3 3108 [Invader]. Диски HDD, размер 11TB.
Если нужна какая-то дополнительная информация, дайте знать.
Спасибо!
Информация о системе:
LXC версия: 5.0.2
LXCFS: "5.0.3"
Количество работающих контейнеров: 100
VM: 0
Версия ядра: 6.5.11-6-pve #1 SMP PREEMPT_DYNAMIC PMX 6.5.11-6 (2023-11-29T08:32Z) x86_64 GNU/Linux
pveversion: pveversion --verbose proxmox-ve: 8.1.0 (running kernel: 6.5.11-6-pve) pve-manager: 8.1.3 (running version: 8.1.3/b46aac3b42da5d15) proxmox-kernel-helper: 8.1.0 proxmox-kernel-6.5: 6.5.11-7 proxmox-kernel-6.5.11-7-pve-signed: 6.5.11-7 proxmox-kernel-6.5.11-6-pve-signed: 6.5.11-6 proxmox-kernel-6.5.11-4-pve-signed: 6.5.11-4 ceph-fuse: 17.2.7-pve1 corosync: 3.1.7-pve3 criu: 3.17.1-2 glusterfs-client: 10.3-5 ifupdown2: 3.2.0-1+pmx7 ksm-control-daemon: 1.4-1 libjs-extjs: 7.0.0-4 libknet1: 1.28-pve1 libproxmox-acme-perl: 1.5.0 libproxmox-backup-qemu0: 1.4.1 libproxmox-rs-perl: 0.3.1 libpve-access-control: 8.0.7 libpve-apiclient-perl: 3.3.1 libpve-common-perl: 8.1.0 libpve-guest-common-perl: 5.0.6 libpve-http-server-perl: 5.0.5 libpve-network-perl: 0.9.5 libpve-rs-perl: 0.8.7 libpve-storage-perl: 8.0.5 libspice-server1: 0.15.1-1 lvm2: 2.03.16-2 lxc-pve: 5.0.2-4 lxcfs: 5.0.3-pve4 novnc-pve: 1.4.0-3 proxmox-backup-client: 3.1.2-1 proxmox-backup-file-restore: 3.1.2-1 proxmox-kernel-helper: 8.1.0 proxmox-mail-forward: 0.2.2 proxmox-mini-journalreader: 1.4.0 proxmox-offline-mirror-helper: 0.6.3 proxmox-widget-toolkit: 4.1.3 pve-cluster: 8.0.5 pve-container: 5.0.8 pve-docs: 8.1.3 pve-edk2-firmware: 4.2023.08-2 pve-firewall: 5.0.3 pve-firmware: 3.9-1 pve-ha-manager: 4.0.3 pve-i18n: 3.1.4 pve-qemu-kvm: 8.1.2-4 pve-xtermjs: 5.3.0-2 qemu-server: 8.0.10 smartmontools: 7.3-pve1 spiceterm: 3.3.0 swtpm: 0.8.0+pve1 vncterm: 1.8.0 zfsutils-linux: 2.2.2-pve1
Информация об оборудовании:
CPU:
Архитектура: x86_64
Режимы работы CPU: 32-bit, 64-bit
Размер адресов: 46 bits physical, 48 bits virtual
Порядок байтов: Little Endian
Количество CPU: 56
Список активных CPU: 0-55
Vendor ID: GenuineIntel
BIOS Vendor ID: Intel
Модель: Intel® Xeon® CPU E5-2690 v4 @ 2.60GHz
Модель BIOS: Intel® Xeon® CPU E5-2690 v4 @ 2.60GHz
Семейство CPU: 179
Семейство: 6
Модель: 79
Потоков на ядро: 2
Ядер на сокет: 14
Сокеты: 2
Шаг: 1
Макс. частота CPU: 3500.0000
Мин. частота CPU: 1200.0000
BogoMIPS: 5200.10
Memory: 128 GB
Все контейнеры размещены на RAID контроллере. Модель: Broadcom / LSI MegaRAID SAS-3 3108 [Invader]. Диски HDD, размер 11TB.
Если нужна какая-то дополнительная информация, дайте знать.
Спасибо!

Во-вторых, я обнаружил, что в MongoDB включен модуль "Full Time Diagnostic Data Capture", который тоже собирает метрики.
После отключения этого модуля MongoDB и сервиса pvestatd, lxcfs вернулся в нормальное состояние, лагов и задержек внутри контейнеров больше нет.