Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Удали и добавь cepf OSD

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Удали и добавь cepf OSD, Proxmox Виртуальная Среда
     
    vaschthestampede
    Guest
    #1
    0
    12.04.2024 18:40:00
    Пытаюсь разобраться со сложными ситуациями в Ceph. Не могу найти решение, которое кажется довольно простым. В чем суть: после добавления разных OSD я удаляю их командой Stop -> Out -> Destroy. Теперь пытаюсь добавить их обратно. Проблема в том, что передобавленные диски остаются в статусе down. Как это можно решить? Делаю что-то не так? Готов предоставить любую дополнительную информацию.
     
     
     
    vaschthestampede
    Guest
    #2
    0
    06.05.2024 10:01:00
    Какие ещё есть варианты?
     
     
     
    mpopgun
    Guest
    #3
    0
    14.05.2024 18:51:00
    Точно такая же фигня. Я случайно стер не тот OSD... ну, конечно, можно просто отформатировать и добавить его обратно, и он пересоберется. Но я бы хотел его просто вернуть. Имя раздела диска всё ещё показывает имя OSD. `Ceph-volume inventory /dev/sdX` выдаёт все ID, `Ceph-volume lvm activate --all` показывает, что он активируется, а остальные пропускаются, созданы все директории в `osd.x`. Но `ceph add crush set x 1.0 host=xxxx` говорит, что OSD не создан. Какая команда нужна для создания OSD? Я нашёл в документации, как создать И инициализировать один, но не нашёл, как создать и добавить уже существующий обратно. Я даже нашёл документацию, где люди переносили OSD в совершенно другой кластер из-за сбоя оборудования... Но им пришлось создавать монитор... А мне это не нужно. Они использовали `ceph-objectstore-tool`. Или я только что открыл новый ачивмент... первый, кто случайно удалил не тот OSD?
     
     
     
    vaschthestampede
    Guest
    #4
    0
    16.05.2024 10:17:00
    Нет! На самом деле проблема, которую я описал, именно в этом! Он не дает мне добавить новые OSD.
     
     
     
    vaschthestampede
    Guest
    #5
    0
    15.07.2024 11:11:00
    Обновления. Похоже, проблема решена, по крайней мере частично, если остановить сервера метаданных. Я говорю "по крайней мере частично", потому что некоторым OSD требуется ручной запуск. Система, на которой я тестировал это решение, не та же, но версии Ceph одинаковые.
    ```
    pveversion -v
    ```
    Код:
    ```
    proxmox-ve: 8.2.0 (running kernel: 6.8.4-2-pve)
    pve-manager: 8.2.2 (running version: 8.2.2/9355359cd7afbae4)
    proxmox-kernel-helper: 8.1.0
    proxmox-kernel-6.8: 6.8.4-2
    proxmox-kernel-6.8.4-2-pve-signed: 6.8.4-2
    ceph: 18.2.2-pve1
    ceph-fuse: 18.2.2-pve1
    corosync: 3.1.7-pve3
    criu: 3.17.1-2
    glusterfs-client: 10.3-5
    ifupdown2: 3.2.0-1+pmx8
    ksm-control-daemon: 1.5-1
    libjs-extjs: 7.0.0-4
    libknet1: 1.28-pve1
    libproxmox-acme-perl: 1.5.0
    libproxmox-backup-qemu0: 1.4.1
    libproxmox-rs-perl: 0.3.3
    libpve-access-control: 8.1.4
    libpve-apiclient-perl: 3.3.2
    libpve-cluster-api-perl: 8.0.6
    libpve-cluster-perl: 8.0.6
    libpve-common-perl: 8.2.1
    libpve-guest-common-perl: 5.1.1
    libpve-http-server-perl: 5.1.0
    libpve-network-perl: 0.9.8
    libpve-rs-perl: 0.8.8
    libpve-storage-perl: 8.2.1
    libspice-server1: 0.15.1-1
    lvm2: 2.03.16-2
    lxc-pve: 6.0.0-1
    lxcfs: 6.0.0-pve2
    novnc-pve: 1.4.0-3
    proxmox-backup-client: 3.2.0-1
    proxmox-backup-file-restore: 3.2.0-1
    proxmox-kernel-helper: 8.1.0
    proxmox-mail-forward: 0.2.3
    proxmox-mini-journalreader: 1.4.0
    proxmox-offline-mirror-helper: 0.6.6
    proxmox-widget-toolkit: 4.2.1
    pve-cluster: 8.0.6
    pve-container: 5.0.10
    pve-docs: 8.2.1
    pve-edk2-firmware: 4.2023.08-4
    pve-esxi-import-tools: 0.7.0
    pve-firewall: 5.0.5
    pve-firmware: 3.11-1
    pve-ha-manager: 4.0.4
    pve-i18n: 3.2.2
    pve-qemu-kvm: 8.1.5-5
    pve-xtermjs: 5.3.0-3
    qemu-server: 8.2.1
    smartmontools: 7.3-pve1
    spiceterm: 3.3.0
    swtpm: 0.8.0+pve1
    vncterm: 1.8.0
    zfsutils-linux: 2.2.3-pve2
    ```
    ```
    pveceph status
    ```
    Код:
    ```
    cluster:
       id:     a78f999f-d592-4fc6-a0e6-7dde2d0fb778
       health: HEALTH_OK

     services:
       mon: 3 daemons, quorum pve1,pve2,pve3 (age 2d)
       mgr: pve1(active, since 2d), standbys: pve3, pve2
       osd: 5 osds: 4 up (since 2m), 5 in (since 2m)

     data:
       pools:   0 pools, 0 pgs
       objects: 0 objects, 0 B
       usage:   51 GiB used, 512 GiB / 563 GiB avail
       pgs:
    ```
     
     
     
    Senin
    Guest
    #6
    0
    28.12.2024 13:39:00
    Привет! У меня та же проблема. 3-узловая Ceph-кластер, Proxmox 8.2, один Ceph-пул с 4 HDD по 20 ТБ на каждом узле, CEPH v.17.2.7. Я добавил 2 SSD по 4 ТБ на каждый узел, и они были добавлены в тот же пул, что и HDD, но репликация PGs не происходила. Тогда я решил создать разные пулы и правила для HDD и SSD, выключил эти новые SSD и удалил их. Теперь не могу добавить SSD обратно в качестве OSD. Эти SSD отсутствуют в дереве OSD. Вот думаю, можно ли просто их очистить?

    root@pve1:~# ceph osd tree

    ID  CLASS  WEIGHT     TYPE NAME       STATUS  REWEIGHT  PRI-AFF
    -1         218.27875  root default
    -7          72.75958      host pve1
    8    hdd   18.18990          osd.8       up   1.00000  1.00000
    9    hdd   18.18990          osd.9       up   1.00000  1.00000
    10    hdd   18.18990          osd.10      up   1.00000  1.00000
    11    hdd   18.18990          osd.11      up   1.00000  1.00000
    -5          72.75958      host pve2
    4    hdd   18.18990          osd.4       up   1.00000  1.00000
    5    hdd   18.18990          osd.5       up   1.00000  1.00000
    6    hdd   18.18990          osd.6       up   1.00000  1.00000
    7    hdd   18.18990          osd.7       up   1.00000  1.00000
    -3          72.75958      host pve3
    0    hdd   18.18990          osd.0       up   1.00000  1.00000
    1    hdd   18.18990          osd.1       up   1.00000  1.00000
    2    hdd   18.18990          osd.2       up   1.00000  1.00000
    3    hdd   18.18990          osd.3       up   1.00000  1.00000

    root@pve1:~# ceph health HEALTH_OK

    lsblk показывает следующее:

    sdc                                                                    8:32   0  18.2T  0 disk
    └─ceph--2cb5e04f--cfe1--486f--8109--a0a917a947ff-osd--block--0c46025e--a9e9--42c2--b8b7--c2f3811d3f9b
    252:6    0  18.2T  0 lvm

    sdd                                                                    8:48   0  18.2T  0 disk
    └─ceph--599c0891--10a4--47fc--8da1--c1a7cf1e700c-osd--block--c1d1e405--6b5e--4cbb--bed5--c0d09cccde45
    252:7    0  18.2T  0 lvm

    sde                                                                    8:64   0  18.2T  0 disk
    └─ceph--c298cd1e--163c--4894--8f76--697d601eee2b-osd--block--c7889ae0--2c83--440c--aad2--7b05663d689d
    252:9    0  18.2T  0 lvm

    sdf                                                                    8:80   0  18.2T  0 disk
    └─ceph--ef4044e4--f931--4622--9a57--626db564199d-osd--block--cc2d6589--c031--4d90--a12e--feb2537dc774
    252:8    0  18.2T  0 lvm

    sdg                                                                    8:96   0   3.5T  0 disk
    └─ceph--0bbc52c4--7d5d--4371--8952--a1bd6415325c-osd--block--1b26ef42--526c--40bb--8068--0c7bf3395e15
    252:0    0   3.5T  0 lvm

    sdh                                                                    8:112  0   3.5T  0 disk
    └─ceph--99fa4939--1f3a--417f--80e0--73493990050a-osd--block--ba4b641e--3ce0--4eff--8acc--3230f46807aa
    252:1    0   3.5T  0 lvm

    sdi                                                                    8:128  0    28T  0 disk
    └─mpatha                                                             252:12   0    28T  0 mpath
    ├─ru2nas4_vg-vm--138--disk--0                                      252:13   0  12.1T  0 lvm
    ├─ru2nas4_vg-vm--138--disk--1                                      252:14   0   300G  0 lvm
    └─ru2nas4_vg-vm--138--disk--2                                      252:15   0   200G  0 lvm
     
     
     
    UdoB
    Guest
    #7
    0
    29.12.2024 11:19:00
    Да. Есть встроенная функция для этого: <node> --> Диски --> <выберите ваш диск> --> "Стереть диск". Только так диск станет чистым и "неиспользуемым" и его можно будет использовать для любых других целей – или для новой OSD.
     
     
     
    Senin
    Guest
    #8
    0
    05.01.2025 08:47:00
    Спасибо за поддержку! Я уничтожил кучу данных через Disks/LVM, а потом они успешно добавились как OSD.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры