Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    CEPH REEF 16 pgs не углубились в чистку вовремя, и pgs тоже не успели вычистить., Proxmox Виртуальная Среда
     
    kellogs
    Guest
    #1
    0
    10.11.2024 01:21:00
    Привет!

    Из 16 PG, давайте рассмотрим PG 8.14 и 7.1b. Поскольку 8.14 активен и чист, почему он все еще указан в 16 PG, но не подвергся глубокой очистке вовремя? И почему PG не очищаются вовремя? Я выполнил следующее: `ceph config set global osd_deep_scrub_interval 1209600` [https://heiterbiswolkig.blogs.nde.ag/2024/09/06/pgs-not-deep-scrubbed-in-time/](<#0 >)

    Мы используем дисковую систему хранения на базе Ceph, с использованием нескольких дисков и контроллеров, поэтому это может быть сложной конфигурацией.

    Например, это:

    `ceph -s` выдает следующую информацию:
    ```
    cluster: id:     cc41de92-1edd-4f12-9803-884cdcea0c13
    health: HEALTH_WARN 16 pgs not deep-scrubbed in time 16 pgs not scrubbed in time
    services: mon: 3 daemons, quorum stor-200-31,stor-200-30,stor-200-29 (age 3M)
    mgr: stor-200-29(active, since 4M), standbys: stor-200-30, stor-200-31
    mds: 1/1 daemons up, 2 standby
    osd: 64 osds: 64 up (since 7d), 64 in (since 7d)
    data: volumes: 1/1 healthy
    pools:   4 pools, 97 pgs
    objects: 910.68k objects, 3.3 TiB usage:   34 TiB used, 456 TiB / 491 TiB avail
    pgs:     92 active+clean 5  active+clean+scrubbing+deep
    io: client:   17 KiB/s rd, 11 MiB/s wr, 6 op/s rd, 1.39k op/s wr
    ```

    А вот вывод `ceph -s` для PG 8.14:

    ```
    8.14       27860                   0         0          0        0  111874754688          304          32  10086         0     10086                 active+clean  2024-11-10T07:14:50.216826+0700  17929'332796369  17929:392978053  [13,56,34] 13 [13,56,34] 13 15754'216006287 2024-10-02T08:04:26.363903+0700 15500'202479289 2024-09-27T19:42:47.463766+0700 0 25 queued for deep scrub
    ```

    А вот вывод `ceph -s` для PG 7.1b:

    ```
    7.1b           1                   0         0          0        0       4194304            0           0   1234         0      1234  active+clean+scrubbing+deep  2024-11-10T07:14:23.378798+0700       13029'1234    17929:1224489  [47,56,31] 47 [47,56,31] 47 13029'1234 2024-10-02T03:14:53.854041+0700 13029'1234 2024-09-30T21:54:16.584697+0700 0 1 queued for deep scrub
    ```
     
     
     
    kellogs
    Guest
    #2
    0
    11.11.2024 23:00:00
    У кого-нибудь было такое раньше?
     
     
     
    mfed
    Guest
    #3
    0
    12.11.2024 21:04:00
    Может, просто не получилось закончить все операции по проверке дисков для всех твоих pgs за две недели? У меня такое было, когда проверка остановилась из-за проблем с OSD, и потребовалась неделя или больше после исправления проблемы, чтобы все pgs прошли проверку... К тому же, мне кажется, 97pgs для 64 osd – это слишком мало. Говорят, должно быть около 50-100 pgs на OSD...
     
     
     
    kellogs
    Guest
    #4
    0
    12.11.2024 23:20:00
    Как ты узнал про проблему с OSD? Есть какая-нибудь команда, которой можно воспользоваться? Я проверил, и сейчас все диски без ошибок. По поводу количества PGs, мне кажется, что Proxmox Ceph автоматически их настраивает? Есть какой-то способ это проверить?
     
     
     
    alexskysilk
    Guest
    #5
    0
    12.11.2024 23:31:00
    Это не совсем "проблема", как таковая. У вас больше OSD, чем может очистить система в рамках заданных временных интервалов. Есть несколько параметров, которые можно настроить:

    - увеличить время, необходимое для очистки (osd_deep_scrub_interval, osd_scrub_interval_randomize_ratio)
    - увеличить порог нагрузки на очистку (osd_scrub_load_threshold).
    - увеличить количество очисток на OSD (osd_recovery_max_active, osd_max_scrubs, osd_max_deep_scrubs)

    Изменение каждого из этих параметров имеет последствия, и вам нужно понимать, какие именно они, в зависимости от вашей конкретной конфигурации оборудования (механизмы OSD, раскладка CRUSH, количество хостов, тип и конфигурация сетевых каналов и т.д.).

    Мне не очень приятно это говорить, но если вы собираетесь эксплуатировать Ceph-кластер "на самом деле", то вам действительно стоит почитать документацию. https://docs.ceph.com/en/latest/rados/configuration/osd-config-ref/

    Это не обязательно — для этого нужно включить autoscaler. Хотя даже в этом случае могут быть условия, которые помешают ему что-либо сделать.

    ceph balancer status
    edit
    ceph osd pool autoscale-status
     
     
     
    kellogs
    Guest
    #6
    0
    12.11.2024 23:59:00
    Я не могу перевести изображение.
     
     
     
    kellogs
    Guest
    #7
    0
    13.11.2024 00:03:00
    Судя по результатам, действительно autoscale включен. Пока я установил osd_scrub_load_threshold в 2.0 и также ceph config set global osd_deep_scrub_interval 1209600.
     
     
     
    mfed
    Guest
    #8
    0
    13.11.2024 03:20:00
    Не особо силён в Ceph, просто давно использую в своей домашней кластере, просто как-то по ходу дела накапливаешь разные мелочи... Мой кластер я собирал ещё когда не было функциональности автоскейлинга, тогда были разные калькуляторы, оттуда я и знаю, что должно быть несколько десятков PG на OSD, онлайн-поиск предлагает 50-100... Можешь посмотреть калькулятор здесь: https://docs.ceph.com/en/squid/rados/operations/pgcalc/. Интересно было посмотреть, почему автоскейлер использует такие низкие числа, и прочитав https://docs.ceph.com/en/reef/rados/operations/placement-groups/, я понял, что для пула с твоими реальными RBD-данными нужно установить свойство BULK, чтобы автоскейлер знал, что этот пул будет содержать большую часть данных... Но я бы, наверное, перешёл в режим 'warn' перед этим, просто чтобы оценить влияние... Что касается проблемы с чисткой, думаю, можно ожидать, что чистка на HDD занимает значительно больше времени. Подозреваю, что дефолтные значения сейчас подходят только для SSD. Возможно, тебе придётся ещё больше увеличить osd_deep_scrub_interval... Увеличение количества PG должно помочь с параллелизацией операций.
     
     
     
    kellogs
    Guest
    #9
    0
    13.11.2024 05:59:00
    Большое спасибо за советы и взаимодействие. Этот кластер Ceph был настроен другим человеком, который больше не работает в компании. Я думаю, что проще будет перейти на Synology и перенести все виртуальные машины, а затем просто сбросить Ceph, чтобы быть уверенным.
     
     
     
    anthony11
    Guest
    #10
    0
    15.06.2025 06:22:00
    Чтобы autoscaler начал работать немного разумнее: ceph config set global mon_target_pg_per_osd 250
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры