У нас 15 OSD-хостов и 22 OSD. Серверы физически имеют 2 отсека для дисков. Конечно, OSD не распределены идеально равномерно. Некоторые серверы имеют 1 OSD, а некоторые — 2 OSD, но мы постоянно добавляем диски в систему по мере возможности. Утилизация OSD по данным панели управления Ceph составляет от 45 до 65% в зависимости от того, находится ли OSD один на хосте или совместно с другим. На прошлой неделе один сервер с 2 OSD encountered проблему, в результате чего произошло падение 2 OSD. При size=3 и min_size=2 некоторые ВМ фактически зависли. После переноса физических дисков на другие OSD-хосты и выполнения ceph-volume lvm activate --all всё вернулось в норму через несколько минут, но распределение дисков по хостам остаётся несколько неравномерным. В тот вечер мы увеличили нашу репликацию до size=4, min_size=2. Мы также находимся в процессе обновления с PVE 7.2 до 7.3 и Ceph 17.2.4 до 17.2.5. Даже с несбалансированным распределением OSD, мы теперь имеем size=4, что должно быть избыточным для не слишком большого кластера. Мы ожидаем, что сможем обновить и перезагрузить любой хост, не затрагивая RBD-клиентов. Если мы сможем этого достичь, то я удовлетворён размером=4. Мы выбрали хост с одним OSD для перезагрузки первым. Это также был хост MON, но у нас было 7 мониторов, которые все работали в это время. Наши средние IOPS в течение дня составляют 3k-10k, а ночью примерно 2k. Флаг noout был установлен перед перезагрузкой хоста. Во время перезагрузки 1 OSD отключился, что привело к снижению около 5% объектов, как и ожидалось, и I/O по кластеру всё равно упало до удручающе низких значений, а IOPS показывали менее 100. У ряда Windows ВМ произошёл BSOD, и потребовался сброс даже после завершения перезагрузки и восстановления отключенного OSD. Опять же, это кластер с size=4, min_size=2 с 1 OSD отключенным, который ведёт себя так, как будто он size=2. Всё должно оставаться совершенно стабильным и функционировать с отключённым только 1 OSD, и моя цель — достичь такой же устойчивости при отключении 2 OSD. Кто-нибудь, скажите мне, что я упускаю и что делаю не так.