А ещё, это проблема избыточного pg на OSD?

Я знаю, но оно не пересобирается, хотя и должно.

Коротко: mon_osd_min_in_ratio — твой друг [1].

История длинная. По умолчанию установлено значение 0,75, что означает, что Ceph не будет отмечать OSD как вышлие, если уже примерно 25% OSD уже отмечены как вышлие. То есть, как минимум 75% OSD останутся в работе даже при их выходе, и, следовательно, восстановление не произойдет. В вашем примере, когда pve-2 выходит из строя, отмечаются 4 OSD, то есть 20% ваших OSD станут недоступны после mon_osd_down_out_interval (по умолчанию 600 секунд). Затем выходит pve-3, и Ceph может отметить только 2 OSD как вышлие, оставляя примерно 70% OSD в работе. Я не углублялся в код и не пытался понять суть, но кажется, что Ceph всегда позволяет одному OSD выйти из строя, даже если его выход происходит "чуть-чуть" ниже mon_osd_min_in_ratio. То есть, в вашем примере каждый OSD составляет ровно 1% от общего числа OSD в кластере: если бы Ceph строго соблюдал значение по умолчанию mon_osd_min_in_ratio 0'75, он бы позволил выйти только 5 OSD. Другой пример: если вы хотите, чтобы Ceph никогда не отмечал OSD как вышлие, mon_osd_min_in_ratio должно быть больше 1 (например, 1.01). Учитывая относительно небольшой размер кластера PVE+Ceph по сравнению с типичным кластером Ceph, я считаю mon_osd_min_in_ratio мощным инструментом для прогнозирования возможных сбоев и того, как будет вести себя Ceph: последнее, чего я хочу, чтобы при выходе слишком большого количества OSD, восстановление слишком сильно нагружало остальные OSD. [1] https://docs.ceph.com/en/latest/rad...osd-interaction/#confval-mon_osd_min_in_ratio