Привет, у меня простой вопрос про надёжность в кластере Ceph. Краткое описание моей конфигурации:

- 5 нод с 5 SATA SSD по 1.8TB каждая
- Пул с размером = 5 и min_size = 3, правило CRUSH по умолчанию — “реplicated rule”
- Мой Cephpool сейчас заполнен примерно на 70%. Вчера я имитировал отказ ноды, просто выключив её. В результате заполненость выросла примерно до 91% (что вызвало предупреждение Ceph). После того, как я снова включил ноду, заполненность снизилась ниже 90% (до 89%). Ночью общий размер моего Ceph снова увеличился, при этом использованный размер остался прежним. Я, собственно, хотел выключить вторую ноду, но боялся, что заполненость cephpool тогда достигнет 100%.

Теперь к вопросу. Я предполагал, что 5/3 конфигурация моего пула должна была гарантировать надёжность 2 нод (и для corosync, и для ceph). Оказывается, это не так? Что делал Ceph всю ночь? Мой пул совсем не медленный, и Ceph подключён через 2x 10G LACP.