Стоит ещё раз освежить в памяти, что такое Ceph и как он работает. Ceph — это программно-определяемое хранилище, то есть там есть алгоритмы и правила. В типичной виртуальной среде правила пула выглядят так: реплицированный размер 3 шарда (членов) в группе размещения (PG), минимально необходимое количество для работы — 2. Каждый шард ОБЯЗАТЕЛЬНО должен быть размещен на другом хосте, чтобы соответствовать требованию. Итак, учитывая эти параметры, видно, что для устойчивости к отказу узла И самовосстановления вам НУЖНО иметь КАК МИНИМУМ 4 узла. Что касается ёмкости, то тут важно определить ваш "ПОЛНЫЙ" процент так, чтобы отказ узла не вывел хранилище из строя, или (N-1)/N * 0.8, где N — общая ёмкость OSD узла, когда все узлы имеют одинаковую ёмкость. Умножаем на 0.8, чтобы учесть ситуации, когда OSD заполнен. Но вы возразите: значит, я могу использовать только 60% своей ёмкости! Хуже, друг мой — помните, что каждая запись тройная, поэтому на практике это значит 20% вашей ёмкости, а не 60. И это просто плата за возможность ведения бизнеса; вся эта дисковая ёмкость предоставляется для того, чтобы у вас была непрерывность бизнеса в любой ситуации отказа, вплоть до выхода из строя целого узла.

И вот тогда (рано или поздно) случатся плохие вещи. Ceph-пул в любом случае сразу же переходит в состояние деградирования — и остаётся в нём надолго. Ведь нет резервного узла, который мог бы принять данные (size=3) --> автоматическая репарация/самовосстановление невозможны. Вот почему лучше иметь что-то вроде пяти узлов с несколькими (четыре или больше!) OSD… Это английский раздел; вот ещё несколько подводных камней, которые я обнаружил во время "своего года с Ceph": https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.159671/ Тl;dr: Ceph требует гораздо больше ресурсов, чем абсолютный минимум, чтобы выполнить свои обещания. Удачи.