+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Проблема с удалением диска на хранилище Ceph, Proxmox Виртуальная Среда

Melanxolik

Guest

09.11.2015 10:44:00

Всем привет. У меня проблема с proxmox4 и удалением диска ceph. Я посмотрел отчет о ошибке https://bugzilla.proxmox.com/show_bug.cgi?id=553#c1. Моя проблема воспроизводится следующим образом: я создал виртуальную машину в кластере proxmox на первом узле этого кластера, затем я перенес виртуальную машину на третий узел кластера, и через 5 минут я попытался удалить эту виртуальную машину из кластера. Proxmox сказал: Код: Удаление всех снапшотов: 100% завершено... готово. образ имеет наблюдателей - не удаляется. Удаление образа: 0% завершено... ошибка. rbd: ошибка: образ все еще имеет наблюдателей. ОШИБКА ЗАДАЧИ: rbd rm 'vm-624-disk-1' ошибка: rbd: ошибка: образ все еще имеет наблюдателей. Это странно, Код: rbd -p MYPOOL ls vm-624-disk-1. Попробую удалить из консоли: Код: # rbd rm vm-624-disk-1 -p MYPOOL 2015-11-09 11:24:08.616860 7f4f2b28c800 -1 librbd: образ имеет наблюдателей - не удаляется. Удаление образа: 0% завершено... ошибка. rbd: ошибка: образ все еще имеет наблюдателей. Это значит, что образ все еще открыт или клиент, использующий его, вылетел. Попробуйте снова после закрытия/отмены его или подождите 30 секунд, пока вылетевший клиент не завершится. Код: rbd статус vm-624-disk-1 -p MYPOOL. Наблюдатели: наблюдатель=192.168.126.1:0/2093160405 клиент.2137999 cookie=10. Оу, это очень странно, потому что моя виртуальная машина работает на узле: 192.168.126.3 - третьем узле, а наблюдатель открыт на первом узле. После этого я попытался запустить и остановить виртуальную машину на третьем узле и удалить виртуальную машину, но получил сообщение об ошибке. В итоге я мигрировал свою виртуальную машину на первый узел и удалил эту виртуальную машину, может быть, эта ситуация - это ошибка и нужно исправить эту проблему? Но я не понимаю, как я могу это исправить?

MACscr Guest	#2 0 10.12.2015 12:19:00 Что нам делать в обход, пока баг не исправят?

MACscr Guest	#3 0 13.01.2016 17:08:00 Все еще ничего? Прошло уже больше месяца.

dietmar Guest	#4 0 13.01.2016 17:11:00 Мы сообщили об ошибке в Ceph, смотрите http://tracker.ceph.com/issues/13560#change-60663, не совсем понимаю, почему они не применяют исправление...

MACscr Guest	#5 0 13.01.2016 22:37:00 Хм, эта ошибка действительно мешает нам удалять изображения? На первый взгляд в этом отчете о баге не кажется очевидной связь.

MACscr Guest	#6 0 18.01.2016 21:11:00 Отличные новости, это было решено в 0.94.6, когда мы это получим. Рад, что немного поколотил их по этому поводу. Ура!

Q-wulf

Guest

20.01.2016 02:59:00

Есть "обходной путь". Создайте новый пул. Переместите все виртуальные диски, которые находятся в старом пуле (и которые нужно сохранить), в новый пул. Убедитесь, что у вас нет данных в старом пуле, которые вы хотите оставить. Удалите старый пул. Прибыль. Типа. К сожалению. P.S.: мы сталкиваемся с этой проблемой в основном на EC-пулах и используем подход с одним EC-пулом на каждый виртуальный диск для большинства наших задач.

aychprox Guest	#8 0 20.01.2016 09:16:00 @Melanxolik, я столкнулся с похожей проблемой два дня назад. В итоге я сделал те же шаги, что и Q-wulf, это больно, когда у тебя много и большие виртуальные диски.

Q-wulf

Guest

20.01.2016 13:35:00

Да, и вам может понадобиться запустить ручное сканирование Код: ceph osd scrub osd.x, чтобы ceph действительно удалил pgs, которые больше не распознаются. Вы сможете понять, нужно ли это, наблюдая за ceph с помощью Кода: ceph -w во время выполнения удаления пула. Если ваше доступное пространство не увеличивается, скорее всего, вам нужно провести сканирование.

Raymond Burns

Guest

#10

08.06.2016 17:35:00

Нет решения? Единственный способ, который я нашел, это установить диск в режим "без резервного копирования", а затем клонировать виртуальную машину. Удаляю старую виртуальную машину, и диски тоже будут удалены. Это говорит мне о том, что Proxmox имеет возможность удалять диски, но прямое удаление не работает.

richinbg

Guest

#11

24.05.2018 11:53:00

Здравствуйте, у меня сейчас такая же проблема. У меня всё еще есть наблюдатель, и я не знаю, как его удалить, и на самом деле хочу избежать перезагрузки всех моих узлов. Файл диска ceph в данном случае около 3 ТБ. rbd status vm-111-disk-2 -p ceph-vm Наблюдатели: watcher=172.16.0.3:0/3271776928 client.16316856 cookie=139974259587264 Не переживайте, нашел решение: https://forum.proxmox.com/threads/problem-with-remove-disk-on-ceph-storage.24387/ rbd lock rm vm-111-disk-2 auto\ 139974259587264 client.16316856 -p ceph-vm (получить данные через: rbd lock ls vm-111-disk-2 -p ceph-vm)

kaltsi

Guest

#12

01.08.2019 14:43:00

У меня была та же проблема. Код: :~# rbd rm vNTDB-Storage/vm-112-disk-0 2019-08-01 14:22:29.567286 7fc2b97fa700 -1 librbd::image::RemoveRequest: 0x560d820f5470 check_image_watchers: изображение имеет наблюдателей - не удаляется Удаление изображения: 0% завершено... не удалось. rbd: ошибка: изображение все еще имеет наблюдателей Это означает, что изображение все еще открыто или клиент, использующий его, выдал ошибку. Попробуйте снова после закрытия/размонтирования или подождите 30 секунд, чтобы истекло время ожидания для клиента с ошибкой.

:~# rbd status vNTDB-Storage/vm-112-disk-0 Наблюдатели: watcher=10.102.166.130:0/4114533936 client.68244147 cookie=18446462598732840961

:~# ceph osd blacklist add 10.102.166.130:0/4114533936 добавление в черный список 10.102.166.130:0/4114533936 до 2019-08-01 15:36:02.421699 (3600 секунд)

:~# rbd rm vCNTDB-Storage/vm-112-disk-0 Удаление изображения: 100% завершено... сделано.

:~# ceph osd blacklist rm 10.102.166.130:0/4114533936 удаление из черного списка 10.102.166.130:0/4114533936

Alwin Guest	#13 0 02.08.2019 15:36:00 @kaltsi, пожалуйста, открой новую тему, не пишите в старые, давно заброшенные. Это снижает шансы получить помощь.

rainer042 Guest	#14 0 07.02.2023 14:24:00 Сегодня я столкнулся с похожей проблемой, когда удалял несколько виртуальных машин с системы pve 7.2, которая состоит из трех хостов и некоторых образов Ceph (vm-33-disk-2 и т.д.). Хранение в моей конфигурации обеспечивается внешним кластером Nautilus. Для этих rbd образов были наблюдатели, и я не мог их удалить с помощью "rbd rm". Поэтому, как и richinbg, я выполнил команду rbd lock rm для блокировки, которая существовала для каждого из оставшихся rbd. После этого мне удалось удалить оставшиеся rbd образы. Однако кажется, что при удалении таких блокировок на работающей системе pve нужно быть осторожным: через несколько минут после разблокировки и удаления всех оставшихся rbd (все ВМ, которые когда-либо владели этими rbd образами, уже были удалены), я заметил, что другие ВМ, работающие на этой системе pve, внезапно потеряли возможность записи на свои rbd диски. Все консоли ВМ показывали ошибки записи, ВМ не могли записывать на свои собственные диски. Решением было остановить все работающие ВМ, перезагрузить хосты pve, а затем снова запустить все ВМ. После этого все снова заработало нормально.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры