Аспро: ЛайтШоп [тема: [SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая]

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Fri, 29 Apr 2022 16:18:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, просто как suggestion: проверь PG и OSD, связанные с "ceph health detail" и "ceph pg dump pgs_brief | egrep ", попробуй перезапустить один OSD-сервис за раз, проверяя, если глубокая очистка разблокируется и продолжается на других PG. Сигналы тревоги должны исчезнуть. С наилучшими пожеланиями
29.04.2022 16:18:00, corsinvest.

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Tue, 19 Apr 2022 14:46:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Tue, 19 Apr 2022 10:20:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я процитирую свое предыдущее сообщение. Это типично для Ceph. Он периодически проводит (глубокую) проверку своих PG. Не о чем беспокоиться. Проверьте с помощью вышеуказанной команды, какой PG в данный момент проходит глубокую проверку.
19.04.2022 10:20:00, mira.

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Tue, 19 Apr 2022 07:56:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Проблема пока не решена, и /var/log/ceph/ceph.log всегда полон сообщений, как я уже упоминал в своем предыдущем посте... Может кто-то помочь мне, пожалуйста? Спасибо.
19.04.2022 07:56:00, zeuxprox.

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Mon, 18 Apr 2022 17:04:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, вчера утром я обновил свой кластер из 5 узлов с Proxmox 7.1-7 до 7.1-12, следуя этим шагам: 1. Установил noout, noscrub и nodeep-scrub перед началом процесса обновления; 2. Обновил все 5 узлов без проблем; 3. Снял флаги noout, noscrub и nodeep-scrub. У меня есть 2 пула: один для NVMe-дисков, а другой для SSD-дисков, версия ceph — 16.2.7. Состояние ceph в порядке, но вывод команды ceph status выглядит так: root@prx-a1-1:~# ceph status кластер: id: 6cddec54-f21f-4261-b8bd-b475e64bd3e3 здоровье: HEALTH_OK услуги: mon: 3 демона, кворум prx-a1-1, prx-a1-2, prx-a1-3 (возраст 30ч) mgr: prx-a1-2(активен с 30ч), резерв: prx-a1-1, prx-a1-3 osd: 26 osd: 26 активны (с 30ч), 26 в (с 8M) данные: пулы: 3 пула, 2049 pg объекты: 1.04M объектов, 3.9 TiB использование: 12 TiB использовано, 70 TiB / 82 TiB доступно pg: 2048 active+clean 1 active+clean+scrubbing+deep io: клиент: 18 KiB/s чтение, 8.7 MiB/s запись, 2 оп/s чтение, 163 оп/s запись. Вывод команды pveversion -v: perl: предупреждение: не удалось установить локаль. perl: предупреждение: Пожалуйста, проверьте, что настройки локали: LANGUAGE = (unset), LC_ALL = (unset), LC_ADDRESS = "it_IT.UTF-8", LC_NAME = "it_IT.UTF-8", LC_MONETARY = "it_IT.UTF-8", LC_PAPER = "it_IT.UTF-8", LC_IDENTIFICATION = "it_IT.UTF-8", LC_TELEPHONE = "it_IT.UTF-8", LC_MEASUREMENT = "it_IT.UTF-8", LC_TIME = "it_IT.UTF-8", LC_NUMERIC = "it_IT.UTF-8", LANG = "en_US.UTF-8" поддерживаются и установлены в вашей системе. perl: предупреждение: Переход на резервную локаль ("en_US.UTF-8"). proxmox-ve: 7.1-1 (работающий ядро: 5.13.19-6-pve) pve-manager: 7.1-12 (работающая версия: 7.1-12/b3c09de3) pve-kernel-helper: 7.1-14 pve-kernel-5.13: 7.1-9 pve-kernel-5.11: 7.0-10 pve-kernel-5.4: 6.4-4 pve-kernel-5.13.19-6-pve: 5.13.19-15 pve-kernel-5.13.19-2-pve: 5.13.19-4 pve-kernel-5.11.22-7-pve: 5.11.22-12 pve-kernel-5.11.22-3-pve: 5.11.22-7 pve-kernel-5.11.22-2-pve: 5.11.22-4 pve-kernel-5.11.22-1-pve: 5.11.22-2 pve-kernel-5.4.124-1-pve: 5.4.124-1 pve-kernel-5.4.106-1-pve: 5.4.106-1 ceph: 16.2.7 ceph-fuse: 16.2.7 corosync: 3.1.5-pve2 criu: 3.15-1+pve-1 glusterfs-client: 9.2-1 ifupdown: остаточная конфигурация ifupdown2: 3.1.0-1+pmx3 ksm-control-daemon: 1.4-1 libjs-extjs: 7.0.0-1 libknet1: 1.22-pve2 libproxmox-acme-perl: 1.4.1 libproxmox-backup-qemu0: 1.2.0-1 libpve-access-control: 7.1-7 libpve-apiclient-perl: 3.2-1 libpve-common-perl: 7.1-5 libpve-guest-common-perl: 4.1-1 libpve-http-server-perl: 4.1-1 libpve-storage-perl: 7.1-1 libqb0: 1.0.5-1 libspice-server1: 0.14.3-2.1 lvm2: 2.03.11-2.1 lxc-pve: 4.0.11-1 lxcfs: 4.0.11-pve1 novnc-pve: 1.3.0-2 proxmox-backup-client: 2.1.5-1 proxmox-backup-file-restore: 2.1.5-1 proxmox-mini-journalreader: 1.3-1 proxmox-widget-toolkit: 3.4-7 pve-cluster: 7.1-3 pve-container: 4.1-4 pve-docs: 7.1-2 pve-edk2-firmware: 3.20210831-2 pve-firewall: 4.2-5 pve-firmware: 3.3-6 pve-ha-manager: 3.3-3 pve-i18n: 2.6-2 pve-qemu-kvm: 6.1.1-2 pve-xtermjs: 4.16.0-1 qemu-server: 7.1-4 smartmontools: 7.2-pve2 spiceterm: 3.2-2 swtpm: 0.7.1~bpo11+1 vncterm: 1.7-1 zfsutils-linux: 2.1.4-pve1 файл журнала ceph (/var/log/ceph/ceph.log) заполнен: 2022-04-18T17:00:00.000074+0200 mon.prx-a1-1 (mon.0) 53409 : кластер [ИНФ] общее состояние HEALTH_OK 2022-04-18T17:00:00.786265+0200 mgr.prx-a1-2 (mgr.131256291) 55363 : кластер [DBG] pgmap v55438: 2049 pg: 1 active+clean+scrubbing+deep, 2048 active+clean; 3.9 TiB данных, 12 TiB использовано, 70 TiB / 82 TiB доступно; 11 KiB/s чтение, 7.1 MiB/s запись, 124 оп/s 2022-04-18T17:00:02.787596+0200 mgr.prx-a1-2 (mgr.131256291) 55364 : кластер [DBG] pgmap v55439: 2049 pg: 1 active+clean+scrubbing+deep, 2048 active+clean; 3.9 TiB данных, 12 TiB использовано, 70 TiB / 82 TiB доступно; 97 KiB/s чтение, 5.0 MiB/s запись, 96 оп/s И так каждые 1-2 секунды появляется новая строка в журнале... С тех пор как обновление завершилось, прошло уже около 30 часов, стоит ли мне беспокоиться? Спасибо.
18.04.2022 17:04:00, zeuxprox.

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая

Thu, 27 Jan 2022 09:21:00 +0300

[SOLVED]ceph здоровье в порядке, но 1 активен+в норме+выполняет чистку+глубокая Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
После обновления до ceph 16 (pacific) на pve7 у меня следующая ситуация: Bash: ~# ceph health detail HEALTH_OK, но Bash: ~# ceph status cluster: id: 04385b88-049f-4083-8d5a-6c45a0b7bddb health: HEALTH_OK services: mon: 3 демона, кворум FT1-NodeA,FT1-NodeB,FT1-NodeC (возраст 13ч) mgr: FT1-NodeC(активен, с 13ч), резервные: FT1-NodeA, FT1-NodeB mds: 1/1 демонов работает, 2 резервных osd: 24 osd: 24 работают (с 13ч), 24 в (с 3н) data: volumes: 1/1 здоровый pools: 6 пулов, 337 pg objects: 1.93M объектов, 7.1 TiB usage: 19 TiB использовано, 18 TiB / 37 TiB доступно pgs: 336 active+clean 1 active+clean+scrubbing+deep io: client: 181 KiB/s чтение, 5.0 MiB/s запись, 6 оп/с чтение, 217 оп/с запись. Так что я не могу использовать обычный ceph repair или подобные инструменты для этого. Что я могу сделать, чтобы это исправить? Так продолжается уже больше суток.
27.01.2022 09:21:00, lifeboy.