http://proxmox.su Новое в теме Проблема с удалением диска на хранилище Ceph форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 06 Jul 2026 02:12:26 +0300 Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сегодня я столкнулся с похожей проблемой, когда удалял несколько виртуальных машин с системы pve 7.2, которая состоит из трех хостов и некоторых образов Ceph (vm-33-disk-2 и т.д.). Хранение в моей конфигурации обеспечивается внешним кластером Nautilus. Для этих rbd образов были наблюдатели, и я не мог их удалить с помощью "rbd rm". Поэтому, как и richinbg, я выполнил команду rbd lock rm для блокировки, которая существовала для каждого из оставшихся rbd. После этого мне удалось удалить оставшиеся rbd образы. Однако кажется, что при удалении таких блокировок на работающей системе pve нужно быть осторожным: через несколько минут после разблокировки и удаления всех оставшихся rbd (все ВМ, которые когда-либо владели этими rbd образами, уже были удалены), я заметил, что другие ВМ, работающие на этой системе pve, внезапно потеряли возможность записи на свои rbd диски. Все консоли ВМ показывали ошибки записи, ВМ не могли записывать на свои собственные диски. Решением было остановить все работающие ВМ, перезагрузить хосты pve, а затем снова запустить все ВМ. После этого все снова заработало нормально.
07.02.2023 14:24:00, rainer042.]]> http://proxmox.su/forum/messages/forum63/message359166/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359166/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Tue, 07 Feb 2023 14:24:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@kaltsi, пожалуйста, открой новую тему, не пишите в старые, давно заброшенные. Это снижает шансы получить помощь.
02.08.2019 15:36:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message359165/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359165/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Fri, 02 Aug 2019 15:36:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня была та же проблема. Код: :~# rbd rm vNTDB-Storage/vm-112-disk-0 2019-08-01 14:22:29.567286 7fc2b97fa700 -1 librbd::image::RemoveRequest: 0x560d820f5470 check_image_watchers: изображение имеет наблюдателей - не удаляется Удаление изображения: 0% завершено... не удалось. rbd: ошибка: изображение все еще имеет наблюдателей Это означает, что изображение все еще открыто или клиент, использующий его, выдал ошибку. Попробуйте снова после закрытия/размонтирования или подождите 30 секунд, чтобы истекло время ожидания для клиента с ошибкой.

:~# rbd status vNTDB-Storage/vm-112-disk-0 Наблюдатели: watcher=10.102.166.130:0/4114533936 client.68244147 cookie=18446462598732840961

:~# ceph osd blacklist add 10.102.166.130:0/4114533936 добавление в черный список 10.102.166.130:0/4114533936 до 2019-08-01 15:36:02.421699 (3600 секунд)

:~# rbd rm vCNTDB-Storage/vm-112-disk-0 Удаление изображения: 100% завершено... сделано.

:~# ceph osd blacklist rm 10.102.166.130:0/4114533936 удаление из черного списка 10.102.166.130:0/4114533936
01.08.2019 14:43:00, kaltsi.]]> http://proxmox.su/forum/messages/forum63/message359164/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359164/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Thu, 01 Aug 2019 14:43:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здравствуйте, у меня сейчас такая же проблема. У меня всё еще есть наблюдатель, и я не знаю, как его удалить, и на самом деле хочу избежать перезагрузки всех моих узлов. Файл диска ceph в данном случае около 3 ТБ. rbd status vm-111-disk-2 -p ceph-vm Наблюдатели: watcher=172.16.0.3:0/3271776928 client.16316856 cookie=139974259587264 Не переживайте, нашел решение: https://forum.proxmox.com/threads/problem-with-remove-disk-on-ceph-storage.24387/ rbd lock rm vm-111-disk-2 auto\ 139974259587264 client.16316856 -p ceph-vm (получить данные через: rbd lock ls vm-111-disk-2 -p ceph-vm)
24.05.2018 11:53:00, richinbg.]]> http://proxmox.su/forum/messages/forum63/message359163/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359163/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Thu, 24 May 2018 11:53:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет решения? Единственный способ, который я нашел, это установить диск в режим "без резервного копирования", а затем клонировать виртуальную машину. Удаляю старую виртуальную машину, и диски тоже будут удалены. Это говорит мне о том, что Proxmox имеет возможность удалять диски, но прямое удаление не работает.
08.06.2016 17:35:00, Raymond Burns.]]> http://proxmox.su/forum/messages/forum63/message359162/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359162/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 08 Jun 2016 17:35:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, и вам может понадобиться запустить ручное сканирование Код: ceph osd scrub osd.x, чтобы ceph действительно удалил pgs, которые больше не распознаются. Вы сможете понять, нужно ли это, наблюдая за ceph с помощью Кода: ceph -w во время выполнения удаления пула. Если ваше доступное пространство не увеличивается, скорее всего, вам нужно провести сканирование.
20.01.2016 13:35:00, Q-wulf.]]> http://proxmox.su/forum/messages/forum63/message359161/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359161/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 20 Jan 2016 13:35:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@Melanxolik, я столкнулся с похожей проблемой два дня назад. В итоге я сделал те же шаги, что и Q-wulf, это больно, когда у тебя много и большие виртуальные диски.
20.01.2016 09:16:00, aychprox.]]> http://proxmox.su/forum/messages/forum63/message359160/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359160/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 20 Jan 2016 09:16:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть "обходной путь". Создайте новый пул. Переместите все виртуальные диски, которые находятся в старом пуле (и которые нужно сохранить), в новый пул. Убедитесь, что у вас нет данных в старом пуле, которые вы хотите оставить. Удалите старый пул. Прибыль. Типа. К сожалению. P.S.: мы сталкиваемся с этой проблемой в основном на EC-пулах и используем подход с одним EC-пулом на каждый виртуальный диск для большинства наших задач.
20.01.2016 02:59:00, Q-wulf.]]> http://proxmox.su/forum/messages/forum63/message359159/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359159/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 20 Jan 2016 02:59:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отличные новости, это было решено в 0.94.6, когда мы это получим. Рад, что немного поколотил их по этому поводу. Ура!
18.01.2016 21:11:00, MACscr.]]> http://proxmox.su/forum/messages/forum63/message359158/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359158/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Mon, 18 Jan 2016 21:11:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хм, эта ошибка действительно мешает нам удалять изображения? На первый взгляд в этом отчете о баге не кажется очевидной связь.
13.01.2016 22:37:00, MACscr.]]> http://proxmox.su/forum/messages/forum63/message359157/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359157/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 13 Jan 2016 22:37:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы сообщили об ошибке в Ceph, смотрите http://tracker.ceph.com/issues/13560#change-60663, не совсем понимаю, почему они не применяют исправление...
13.01.2016 17:11:00, dietmar.]]> http://proxmox.su/forum/messages/forum63/message359156/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359156/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 13 Jan 2016 17:11:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Все еще ничего? Прошло уже больше месяца.
13.01.2016 17:08:00, MACscr.]]> http://proxmox.su/forum/messages/forum63/message359155/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359155/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Wed, 13 Jan 2016 17:08:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Что нам делать в обход, пока баг не исправят?
10.12.2015 12:19:00, MACscr.]]> http://proxmox.su/forum/messages/forum63/message359154/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359154/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Thu, 10 Dec 2015 12:19:00 +0300 Proxmox Виртуальная Среда Проблема с удалением диска на хранилище Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет. У меня проблема с proxmox4 и удалением диска ceph. Я посмотрел отчет о ошибке https://bugzilla.proxmox.com/show_bug.cgi?id=553#c1. Моя проблема воспроизводится следующим образом: я создал виртуальную машину в кластере proxmox на первом узле этого кластера, затем я перенес виртуальную машину на третий узел кластера, и через 5 минут я попытался удалить эту виртуальную машину из кластера. Proxmox сказал: Код: Удаление всех снапшотов: 100% завершено... готово. образ имеет наблюдателей - не удаляется. Удаление образа: 0% завершено... ошибка. rbd: ошибка: образ все еще имеет наблюдателей. ОШИБКА ЗАДАЧИ: rbd rm 'vm-624-disk-1' ошибка: rbd: ошибка: образ все еще имеет наблюдателей. Это странно, Код: rbd -p MYPOOL ls vm-624-disk-1. Попробую удалить из консоли: Код: # rbd rm vm-624-disk-1 -p MYPOOL 2015-11-09 11:24:08.616860 7f4f2b28c800 -1 librbd: образ имеет наблюдателей - не удаляется. Удаление образа: 0% завершено... ошибка. rbd: ошибка: образ все еще имеет наблюдателей. Это значит, что образ все еще открыт или клиент, использующий его, вылетел. Попробуйте снова после закрытия/отмены его или подождите 30 секунд, пока вылетевший клиент не завершится. Код: rbd статус vm-624-disk-1 -p MYPOOL. Наблюдатели: наблюдатель=192.168.126.1:0/2093160405 клиент.2137999 cookie=10. Оу, это очень странно, потому что моя виртуальная машина работает на узле: 192.168.126.3 - третьем узле, а наблюдатель открыт на первом узле. После этого я попытался запустить и остановить виртуальную машину на третьем узле и удалить виртуальную машину, но получил сообщение об ошибке. В итоге я мигрировал свою виртуальную машину на первый узел и удалил эту виртуальную машину, может быть, эта ситуация - это ошибка и нужно исправить эту проблему? Но я не понимаю, как я могу это исправить?
09.11.2015 10:44:00, Melanxolik.]]> http://proxmox.su/forum/messages/forum63/message359153/81646-problema-s-udaleniem-diska-na-khranilishche-ceph http://proxmox.su/forum/messages/forum63/message359153/81646-problema-s-udaleniem-diska-na-khranilishche-ceph Mon, 09 Nov 2015 10:44:00 +0300 Proxmox Виртуальная Среда