Аспро: ЛайтШоп [тема: CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.]

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Sun, 15 Jun 2025 06:22:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Чтобы autoscaler начал работать немного разумнее: ceph config set global mon_target_pg_per_osd 250
15.06.2025 06:22:00, anthony11.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Wed, 13 Nov 2024 05:59:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Большое спасибо за советы и взаимодействие. Этот кластер Ceph был настроен другим человеком, который больше не работает в компании. Я думаю, что проще будет перейти на Synology и перенести все виртуальные машины, а затем просто сбросить Ceph, чтобы быть уверенным.
13.11.2024 05:59:00, kellogs.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Wed, 13 Nov 2024 03:20:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не особо силён в Ceph, просто давно использую в своей домашней кластере, просто как-то по ходу дела накапливаешь разные мелочи... Мой кластер я собирал ещё когда не было функциональности автоскейлинга, тогда были разные калькуляторы, оттуда я и знаю, что должно быть несколько десятков PG на OSD, онлайн-поиск предлагает 50-100... Можешь посмотреть калькулятор здесь: https://docs.ceph.com/en/squid/rados/operations/pgcalc/. Интересно было посмотреть, почему автоскейлер использует такие низкие числа, и прочитав https://docs.ceph.com/en/reef/rados/operations/placement-groups/, я понял, что для пула с твоими реальными RBD-данными нужно установить свойство BULK, чтобы автоскейлер знал, что этот пул будет содержать большую часть данных... Но я бы, наверное, перешёл в режим 'warn' перед этим, просто чтобы оценить влияние... Что касается проблемы с чисткой, думаю, можно ожидать, что чистка на HDD занимает значительно больше времени. Подозреваю, что дефолтные значения сейчас подходят только для SSD. Возможно, тебе придётся ещё больше увеличить osd_deep_scrub_interval... Увеличение количества PG должно помочь с параллелизацией операций.
13.11.2024 03:20:00, mfed.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Wed, 13 Nov 2024 00:03:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Судя по результатам, действительно autoscale включен. Пока я установил osd_scrub_load_threshold в 2.0 и также ceph config set global osd_deep_scrub_interval 1209600.
13.11.2024 00:03:00, kellogs.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Tue, 12 Nov 2024 23:59:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я не могу перевести изображение.
12.11.2024 23:59:00, kellogs.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Tue, 12 Nov 2024 23:31:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это не совсем "проблема", как таковая. У вас больше OSD, чем может очистить система в рамках заданных временных интервалов. Есть несколько параметров, которые можно настроить:

- увеличить время, необходимое для очистки (osd_deep_scrub_interval, osd_scrub_interval_randomize_ratio)
- увеличить порог нагрузки на очистку (osd_scrub_load_threshold).
- увеличить количество очисток на OSD (osd_recovery_max_active, osd_max_scrubs, osd_max_deep_scrubs)

Изменение каждого из этих параметров имеет последствия, и вам нужно понимать, какие именно они, в зависимости от вашей конкретной конфигурации оборудования (механизмы OSD, раскладка CRUSH, количество хостов, тип и конфигурация сетевых каналов и т.д.).

Мне не очень приятно это говорить, но если вы собираетесь эксплуатировать Ceph-кластер "на самом деле", то вам действительно стоит почитать документацию. https://docs.ceph.com/en/latest/rados/configuration/osd-config-ref/

Это не обязательно — для этого нужно включить autoscaler. Хотя даже в этом случае могут быть условия, которые помешают ему что-либо сделать.

ceph balancer status
edit
ceph osd pool autoscale-status
12.11.2024 23:31:00, alexskysilk.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Tue, 12 Nov 2024 23:20:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как ты узнал про проблему с OSD? Есть какая-нибудь команда, которой можно воспользоваться? Я проверил, и сейчас все диски без ошибок. По поводу количества PGs, мне кажется, что Proxmox Ceph автоматически их настраивает? Есть какой-то способ это проверить?
12.11.2024 23:20:00, kellogs.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Tue, 12 Nov 2024 21:04:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Может, просто не получилось закончить все операции по проверке дисков для всех твоих pgs за две недели? У меня такое было, когда проверка остановилась из-за проблем с OSD, и потребовалась неделя или больше после исправления проблемы, чтобы все pgs прошли проверку... К тому же, мне кажется, 97pgs для 64 osd – это слишком мало. Говорят, должно быть около 50-100 pgs на OSD...
12.11.2024 21:04:00, mfed.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Mon, 11 Nov 2024 23:00:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У кого-нибудь было такое раньше?
11.11.2024 23:00:00, kellogs.

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

Sun, 10 Nov 2024 01:21:00 +0300

CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет!

Из 16 PG, давайте рассмотрим PG 8.14 и 7.1b. Поскольку 8.14 активен и чист, почему он все еще указан в 16 PG, но не подвергся глубокой очистке вовремя? И почему PG не очищаются вовремя? Я выполнил следующее: `ceph config set global osd_deep_scrub_interval 1209600` [https://heiterbiswolkig.blogs.nde.ag/2024/09/06/pgs-not-deep-scrubbed-in-time/](<#0 >)

Мы используем дисковую систему хранения на базе Ceph, с использованием нескольких дисков и контроллеров, поэтому это может быть сложной конфигурацией.

Например, это:

`ceph -s` выдает следующую информацию:
```
cluster: id: cc41de92-1edd-4f12-9803-884cdcea0c13
health: HEALTH_WARN 16 pgs not deep-scrubbed in time 16 pgs not scrubbed in time
services: mon: 3 daemons, quorum stor-200-31,stor-200-30,stor-200-29 (age 3M)
mgr: stor-200-29(active, since 4M), standbys: stor-200-30, stor-200-31
mds: 1/1 daemons up, 2 standby
osd: 64 osds: 64 up (since 7d), 64 in (since 7d)
data: volumes: 1/1 healthy
pools: 4 pools, 97 pgs
objects: 910.68k objects, 3.3 TiB usage: 34 TiB used, 456 TiB / 491 TiB avail
pgs: 92 active+clean 5 active+clean+scrubbing+deep
io: client: 17 KiB/s rd, 11 MiB/s wr, 6 op/s rd, 1.39k op/s wr
```

А вот вывод `ceph -s` для PG 8.14:

```
8.14 27860 0 0 0 0 111874754688 304 32 10086 0 10086 active+clean 2024-11-10T07:14:50.216826+0700 17929'332796369 17929:392978053 [13,56,34] 13 [13,56,34] 13 15754'216006287 2024-10-02T08:04:26.363903+0700 15500'202479289 2024-09-27T19:42:47.463766+0700 0 25 queued for deep scrub
```

А вот вывод `ceph -s` для PG 7.1b:

```
7.1b 1 0 0 0 0 4194304 0 0 1234 0 1234 active+clean+scrubbing+deep 2024-11-10T07:14:23.378798+0700 13029'1234 17929:1224489 [47,56,31] 47 [47,56,31] 47 13029'1234 2024-10-02T03:14:53.854041+0700 13029'1234 2024-09-30T21:54:16.584697+0700 0 1 queued for deep scrub
```
10.11.2024 01:21:00, kellogs.