Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [РЕШЕНО] Путаница с хранилищем Ceph

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [РЕШЕНО] Путаница с хранилищем Ceph, Proxmox Виртуальная Среда
     
    skywavecomm
    Guest
    #1
    0
    05.08.2019 18:20:00
    Итак, мой ceph пул показывает использование в веб-интерфейсе вот так: . Но, когда я перехожу к сводке хранилища для ceph пула, он показывает это: . Это нормально или есть какая-то проблема, которую мне нужно решить? Спасибо!
     
     
     
    abzsol
    Guest
    #2
    0
    04.11.2019 17:23:00
    Да, я обновился 29-10-201 с 5.4 и Luminous до 6 и Nautilus, следуя инструкциям. Меня беспокоит резкий скачок на графике, а также показания использования и свободного места неверны в веб-интерфейсе. Или я что-то упустил? До обновления я использовал около 60%: 6,6 ТБ из 10,3 ТБ. Теперь я вижу 12.98 ТБ из 16.40 ТБ занятыми. Оба значения неверны: занятое пространство и общее пространство.
     
     
     
    ddkargas
    Guest
    #3
    0
    26.08.2019 12:07:00
    У меня такая же ошибка с использованием дискового пространства в ceph df details из кластера proxmox ceph. Вот данные:

    ceph df detail

    RAW STORAGE:
    CLASS     SIZE       AVAIL      USED       RAW USED     %RAW USED
    hdd       96 TiB     61 TiB     35 TiB       35 TiB         36.84

    TOTAL     96 TiB     61 TiB     35 TiB       35 TiB         36.84

    POOLS:
    POOL         ID     STORED     OBJECTS     USED       %USED     MAX AVAIL     QUOTA OBJECTS     QUOTA BYTES     DIRTY     USED COMPR     UNDER COMPR
    ceph_vms     41     11 TiB       2.97M     34 TiB     38.80        18 TiB     N/A               N/A             2.97M            0 B             0 B

    В proxmox vm cluster

    export rados df
    rados df

    POOL_NAME   USED OBJECTS CLONES  COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED    RD_OPS     RD   WR_OPS     WR USED COMPR UNDER COMPR
    ceph_vms  34 TiB 2974289   2838 8922867                  0       0        0 156075123 17 TiB 26474392 12 TiB        0 B         0 B

    total_objects    2974289
    total_used       35 TiB
    total_avail      61 TiB
    total_space      96 TiB

    Но в интерфейсе детали пула экспортируются как . На панели управления ceph общее использование только одного пула составляет 35.49 TB из 96.32 TB, и это 37%. Я не могу понять, как это число попало в статистику общего внешнего пула rbd px. Пожалуйста, помогите, это нормально или нет. Весь proxmox и кластер px ceph на версии 14.2.2 nautilus.
     
     
     
    skywavecomm
    Guest
    #4
    0
    18.09.2019 14:41:00
    @Alwin в одном из обновлений внес изменения в расчет доступного хранилища для ceph, теперь показывает использование так, как и ожидалось.
     
     
     
    Alwin
    Guest
    #5
    0
    30.09.2019 15:47:00
    Да, в libpve-storage-perl: 6.0-8.
     
     
     
    abzsol
    Guest
    #6
    0
    04.11.2019 11:19:00
    сталкиваюсь с той же проблемой. Код: proxmox-ve: 6.0-2 (работающий ядро: 5.0.21-3-pve)
    pve-manager: 6.0-9 (работающая версия: 6.0-9/508dcee0)
    pve-kernel-5.0: 6.0-9
    pve-kernel-helper: 6.0-9
    pve-kernel-4.15: 5.4-9
    pve-kernel-5.0.21-3-pve: 5.0.21-7
    pve-kernel-4.15.18-21-pve: 4.15.18-48
    pve-kernel-4.15.18-18-pve: 4.15.18-44
    pve-kernel-4.15.18-9-pve: 4.15.18-30
    ceph: 14.2.4-pve1
    ceph-fuse: 14.2.4-pve1
    corosync: 3.0.2-pve4
    criu: 3.11-3
    glusterfs-client: 5.5-3
    ksm-control-daemon: 1.3-1
    libjs-extjs: 6.0.1-10
    libknet1: 1.13-pve1
    libpve-access-control: 6.0-2
    libpve-apiclient-perl: 3.0-2
    libpve-common-perl: 6.0-5
    libpve-guest-common-perl: 3.0-1
    libpve-http-server-perl: 3.0-3
    libpve-storage-perl: 6.0-9
    libqb0: 1.0.5-1
    lvm2: 2.03.02-pve3
    lxc-pve: 3.1.0-65
    lxcfs: 3.0.3-pve60
    novnc-pve: 1.1.0-1
    openvswitch-switch: 2.10.0+2018.08.28+git.8ca7c82b7d+ds1-12
    proxmox-mini-journalreader: 1.1-1
    proxmox-widget-toolkit: 2.0-8
    pve-cluster: 6.0-7
    pve-container: 3.0-7
    pve-docs: 6.0-7
    pve-edk2-firmware: 2.20190614-1
    pve-firewall: 4.0-7
    pve-firmware: 3.0-2
    pve-ha-manager: 3.0-2
    pve-i18n: 2.0-3
    pve-qemu-kvm: 4.0.1-3
    pve-xtermjs: 3.13.2-1
    qemu-server: 6.0-9
    smartmontools: 7.0-pve2
    spiceterm: 3.1-1
    vncterm: 1.6-1
    zfsutils-linux: 0.8.2-pve1
     
     
     
    Alwin
    Guest
    #7
    0
    04.11.2019 12:39:00
    Что показывают ceph df detail и ceph -s?
     
     
     
    abzsol
    Guest
    #8
    0
    04.11.2019 15:51:00
    Код: root@pve01:~# ceph df detail
    СЫРОЕ ХРАНЕНИЕ:
       КЛАСС     РАЗМЕР     ДОСТУПНО     ИСПОЛЬЗОВАНО     СЫРОЕ ИСПОЛЬЗОВАНИЕ     %СЫРОГО ИСПОЛЬЗОВАНИЯ
       ssd       31 TiB     13 TiB     18 TiB       18 TiB         57.82
       ИТОГО     31 TiB     13 TiB     18 TiB       18 TiB         57.82

    БАССЕЙНЫ:
       БАССЕЙН      ID     ХРАНИТЬ     ОБЪЕКТЫ     ИСПОЛЬЗОВАНИЕ     %ИСПОЛЬЗОВАНИЯ     МАКС. ДОСТУПНО     КВОТА ОБЪЕКТЫ     КВОТА БАЙТЫ     ГРЯЗНЫЙ     ИСПОЛЬЗОВАНО СЖАТО     ПОД СЖИМАНИЕ
       cephpool      1     13 TiB       3.58M     18 TiB     63.86       3.4 TiB     N/A               N/A             3.58M            0 B             0 B Код: root@pve01:~# ceph -s
     кластер:
       id:     7ced7402-a929-461a-bd40-53f863fa46ab
       здоровье: ЗДОРОВЬЕ_OK

     сервисы:
       mon: 3 демона, кворум pve01,pve02,pve03 (возраст 6ч)
       mgr: pve03(активный, с 5ч), резерв: pve02, pve01
       osd: 9 osd: 9 работает (с 5ч), 9 в работе (с 4д)

     данные:
       бассейны:   1 бассейн, 256 pg
       объекты: 3.58M объектов, 5.9 TiB
       использование:   18 TiB использовано, 13 TiB / 31 TiB доступно
       pg:     256 активно+чисто

     ввод-вывод:
       клиент:   4.4 MiB/s чтение, 15 MiB/s запись, 101 оп/с чтение, 826 оп/с запись
     
     
     
    Alwin
    Guest
    #9
    0
    04.11.2019 16:54:00
    Вы проводили недавнее обновление? И о чем вы беспокоитесь?
     
     
     
    Alwin
    Guest
    #10
    0
    05.11.2019 12:01:00
    Ты уже обновил все OSD до нового формата на диске? Код: POOLS:  
       POOL         ID     STORED     OBJECTS     USED       %USED     MAX AVAIL  
       cephpool      1     13 TiB       3.58M     18 TiB     63.86       3.4 TiB Использование на вкладке хранилища рассчитывается как 'stored' + 'max avail' (если доступно поле stored). 'Max avail' без реплики, так что 3*3.4=10.2 — это необработанный доступный объем (погрешности округления, так как Ceph вычисляет в байтах). Используемый объем (18 TiB) — это необработанный объем для этого класса хранения (ssd).
     
     
     
    abzsol
    Guest
    #11
    0
    05.11.2019 12:33:00
    Я выполнил эту команду для каждого OSD на каждом узле: service ceph-osd@X stop && ceph-bluestore-tool repair --path /var/lib/ceph/osd/ceph-X && service ceph-osd@X start. Привет, Альвин, спасибо за твою поддержку. Думаю, неправильное значение — это "stored". У меня реплика 3, и я знаю, что использую 6 ТБ на своем хранилище ceph, так что 18 ТБ — это правильное значение для "used", а "stored" должно быть 6.
     
     
     
    Alwin
    Guest
    #12
    0
    05.11.2019 12:49:00
    Что говорит ceph osd pool ls detail? 3.58M объектов * 4 MiB объектов = ~13TiB. Код: данные:
       пулы: 1 пул, 256 pgs
       объекты: 3.58M объектов, 5.9 TiB Статус показывает 5.9 TiB, это странно.
     
     
     
    abzsol
    Guest
    #13
    0
    05.11.2019 15:38:00
    Code: root@pve01:~# ceph osd pool ls detail
    пул 1 'cephpool' реплицированный размер 3 минимальный размер 2 правило crush 0 хэш объектов rjenkins pg_num 256 pgp_num 256 режим автомасштабирования warn последнее изменение 12525 lfor 0/0/45 флаги hashpspool,selfmanaged_snaps ширина полосы 0 приложение rbd
           удаленные снимки [1~3,5~6,d~fe,10c~93c,a49~9a0,13ec~b61,1f4e~6,1f55~1,1f57~29,1f81~b,1f8d~25,1fb3~5,1fb9~1,1fbb~83b,27f7~74d,2f46~1,2f48~3,2f4c~1,2f4f~1,2f52~1,2f57~6,2f5e~1,2f60~1,2f62~1,2f66~1,2f68~12,2f7d~4,2f83~2,2f86~1,2f8d~5,2f93~2,2f96~1,2f98~1,2f9a~1,2f9e~12,2fb3~3,2fb8~2,2fbb~1,2fc2~5,2fc8~2,2fcb~1,2fcd~1,2fcf~1,2fd3~11,2fe7~3,2feb~1,2fee~2,2ff6~6,2ffd~1,2fff~1,3001~1,3005~1,3007~11,301b~3,301f~1,3023~1,3025~1,302a~6,3031~1,3033~1,3035~1,3037~1,303b~11,304f~3,3053~1,3056~1,3059~1,305e~6,3065~1,3067~1,3069~1,306b~1,306f~10,3083~1,3087~3,308c~2,308f~2,3097~4,309c~3,30a0~1,30a2~1,30a4~1,30a8~11,30c0~4,30c6~2,30cc~1,30d0~6,30d7~1,30d9~1,30db~1,30df~1,30e1~6,30e8~6,30ef~1,30f1~1,30f6~1,30f8~1,30fa~2,30fd~1,30ff~1,3103~1,3105~2,310a~3,310e~2,3111~1,3115~1,3117~6,311e~5,3125~1,3129~3,312d~1,312f~1,3135~1,3137~1,3139~5,313f~1,3141~2,3144~1,3148~1,314a~a,3156~1,3158~1,315a~2,315e~2,3166~4,316b~3,316f~2,3172~1,3174~1,3178~a,3185~3,3189~1,318c~1,3190~1,3194~6,319b~2,319e~1,31a0~1,31a2~1,31a6~a,31b2~1,31b4~2,31b7~1,31b9~1,31bc~1,31c2~6,31c9~2,31cc~1,31ce~1,31d0~1,31d4~9,31e1~3,31e6~2,31ec~1,31ef~1,31f1~5,31f7~1,31f9~2,31fc~1,31fe~1,3202~3,3206~1,3208~1,320a~1]
     
     
     
    Alwin
    Guest
    #14
    0
    05.11.2019 16:36:00
    Может быть, но я не уверен. Можешь заново создать OSD и посмотреть, изменится ли проблема?
     
     
     
    abzsol
    Guest
    #15
    0
    06.11.2019 08:55:00
    Не мог бы ты объяснить, как правильно восстановить OSD? Нужно делать это по одному и ждать, пока все уравновесится? Нужно ли устанавливать флаг noout во время процедуры? Спасибо.
     
     
     
    Alwin
    Guest
    #16
    0
    07.11.2019 13:46:00
    На командной строке вы можете выполнить следующее: Код: ceph osd out osd.<id> Код: ceph osd safe-to-destroy osd.<id> Подождите, пока не получите ОК, данные будут перераспределены на другой OSD в том же узле. Код: systemctl stop ceph-osd@<id>.service pveceph osd destroy <id> И затем создайте OSD снова.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры