Флаги CEPH OSD:
noout — Если время ожидания отчета монитора OSD превышено, а OSD не сообщает о себе, он будет помечен как "out". Флаг "noout" указывает цеф-мониторам не "выбрасывать" OSD из crush map и не начинать операции восстановления и ребалансировки, чтобы поддерживать количество реплик.
nobackfill — Если вам нужно временно вывести OSD или узел из эксплуатации (например, для обновления демонов), вы можете установить nobackfill, чтобы Ceph не занимался backfill'ом, пока OSD(ы) не будет(ут) в сети.
norecover — Ceph предотвратит новые операции восстановления. Если вам нужно заменить диск OSD и вы не хотите, чтобы PGs восстанавливались на другой OSD, пока вы проводите hotswap дисков, вы можете установить norecover, чтобы предотвратить копирование нового набора PGs на другие OSD.
norebalance — приостановлена перебалансировка данных.
nodown — Предотвращает помещение OSD в состояние "down". Проблемы с сетью могут прервать процессы heartbeat Ceph, и OSD может быть в сети, но все равно помечен как "down". Вы можете установить nodown, чтобы предотвратить помещение OSD в состояние "down" во время устранения неполадок. Если что-то (например, проблема с сетью) вызывает "флаппинг" OSD (повторное помещение в состояние "down" и затем "up"), вы можете заставить мониторы прекратить "флаппинг", временно заморозив их состояния с помощью nodown.
pause — Ceph прекратит обработку операций чтения и записи, но это не повлияет на статусы OSD in, out, up или down. Если вам нужно устранить неполадки в работающем кластере Ceph без участия клиентов, читающих и записывающих данные, вы можете перевести кластер в состояние pause, чтобы предотвратить клиентские операции.
Попробуйте установить флаги ceph в соответствии с вашими потребностями, прежде чем перезагружать узел в кластере. Работает как по маслу.
# Техническое обслуживание узла
# остановитесь и дождитесь операций scrub и deep-scrub
ceph osd set noscrub
ceph osd set nodeep-scrub
ceph status
# переведите кластер в режим технического обслуживания с помощью: (Я использовал это, когда мы физически переносили всю конфигурацию в другой дата-центр)
# ceph -s (для проверки статуса ceph)
# ceph osd set noout
# ceph osd set nobackfill
# ceph osd set norecover
# ceph osd set norebalance
# ceph osd set nodown
# ceph osd set pause
СНИМИТЕ ФЛАГИ, КОГДА РАБОТА ЗАВЕРШЕНА.
