CEPH показывает свободное пространство, рассчитанное на самых заполненных OSD. Как видно из вашей OSD-дерева, у вас есть несколько в высоких 70% / 80%, поэтому показания ceph df с использованием 70%~ правильны. Если вам удастся лучше сбалансировать свои OSD, вы увидите, что доступное пространство немного увеличится, однако у CEPH есть накладные расходы, и вам никогда не следует стремиться превышать 60%. Если вы потеряете хост в данный момент, есть высокая вероятность, что ваши OSD заполнятся полностью, и все операции ввода-вывода остановятся. Тем не менее, вы все равно получите максимальный размер пула в 47,3TiB (142TiB/3), так что вы не так уж далеко от идеала (сейчас потеряно около 10TiB).

@Techip, у тебя недостаточно PG.