После долгих поисков и экспериментов, я не верю, что есть способ действительно очистить пакеты. Проблема в том, что команда "pveceph" — это черный ящик. Мы не знаем, что она на самом деле делает в фоновом режиме. В итоге я удалял OSD по одному. Вот процедура, как это сделать: Сначала определите, какие OSD и хосты у вас есть в кластере. Для хостов и OSD используйте эту команду: Код: ceph osd crush tree, а для мониторов и менеджеров — эту: Код: ceph -s. Прежде чем начать, предотвратите ребалансировку/восстановление кластера: Код: ceph osd set noout. Теперь удалите OSD по одному. Для этого сначала остановите все службы ceph, выполнив Код: systemctl stop ceph\*.service ceph\*.target. Теперь удалите OSD (подставьте <OSDNO> с идентификатором OSD): Код: # Пометьте OSD как вне
ceph osd out osd.<OSDNO>
# Остановите службу (это не должно быть нужно, потому что мы уже остановили все службы выше)
systemctl stop ceph-osd@<OSDNO>
# Выключите OSD
ceph osd down osd.<OSDNO>
# Удалите OSD из карты CRUSH
ceph osd crush rm osd.<OSDNO>
# Удалите OSD
ceph osd rm osd.<OSDNO>
# Наконец, удалите ключи аутентификации, так как они больше не нужны
ceph auth del osd.<OSDNO>. На этом этапе все ваши OSD удалены, но хосты и монитор/менеджер все еще остаются. В зависимости от того, что вы пытаетесь достичь, возможно, достаточно остановиться здесь и снова добавить OSD (как было в моем случае). Подготовьте ваши диски (это необходимо сделать для каждого): Код: # Удалите таблицу разделов на диске, подготавливая его для использования в Ceph
sgdisk -Z /dev/<DEVICENAME>
# Подготовьте диск для использования с Ceph — как bluestore OSD
ceph-disk prepare --bluestore /dev/<DEVICENAME>
# Активируйте этот вновь созданный диск (OSD) в нашем кластере
ceph-disk activate /dev/<DEVICENAME>. Наконец, запустите все службы ceph. Теперь все должно быть в порядке. Код: systemctl start ceph.target. В некоторых случаях я заметил, что "дефолтное" дерево в конфигурации Ceph в веб-интерфейсе не отображало мои хосты или OSD, добавленные на этот хост, хотя команда ceph -s их показывала. Оказалось, что по какой-то причине они были добавлены ceph, но фактически не были включены в кластер. Чтобы это исправить, необходимо представить хост кластеру, затем добавить его в "дефолтный" кластер, чтобы он стал частью кластера. Код: # Добавьте узел в карту crush
ceph osd crush add-bucket <NODEHOSTNAME> host
# Переместите его в правильное место в иерархии
ceph osd crush move <NODEHOSTNAME> root=default. Если вы заглянете на канал #ceph в OFTC, используя свой любимый IRC-канал, кто-то всегда будет рядом, чтобы протянуть руку помощи. Мой совет — не полагаться на встроенные команды и инструменты управления ceph от proxmox, потому что получить поддержку — это настоящая проблема (если только вы не платите за лицензию).

Перл-код. Вы можете найти его исходный код здесь -> https://git.proxmox.com/?p=pve-manager.git;a=tree;hb=HEAD Лицензия — GNU AGPL, v3, с ней можно ознакомиться здесь -> https://www.gnu.org/licenses/agpl-3.0.en.html Если вам нужна поддержка напрямую от разработчиков Proxmox или вы просто хотите поддержать проект финансово, наши подписки — это то, что вам нужно. https://www.proxmox.com/en/proxmox-ve/pricing Но это не единственный способ помочь или получить поддержку. Вы можете присоединиться к сообществу в IRC-канале #proxmox, на форуме Proxmox или в почтовых рассылках. Сообщения о багах и функциях можно оставлять на нашем bugzilla (https://bugzilla.proxmox.com/), а также приветствуются патчи (https://pve.proxmox.com/wiki/Developer_Documentation). Чтобы удалить пакеты на Debian/Ubuntu, используйте команду 'apt purge <package>'. Из документации 'man apt': Остались ненужные части, когда это было OSD, а команда 'sgdisk -Z' не удаляет их.