Я как-то сталкивался с такой проблемой на лабораторной системе. Делайте только dist-upgrade, потому что он умнее проверяет зависимости. Особенно компоненты Ceph могут в таком случае здорово накосячить.

Привет, извините, что поднимаю эту тему, которой уже несколько лет, но я столкнулся с той же проблемой. Решение оказалось простым — пришлось удалить и пересоздать монитор на проблемных хостах. Не видел, чтобы кто-то упоминал это выше, но, похоже, условие гонки все еще существует: при обновлении OSD-флита некоторые узлы возвращаются с этой ошибкой несоответствия версий.