Привет, ребята! У меня недавно развернул кластер Proxmox с тремя серверами, 10G NIC-сеть через Aruba Switch, 11 OSD SSD (8 x 1.7T, 3 x 3.4T). Общий RAW-объем 24T, 12T используется в 6 VM. Один пул. Проблема в следующем: 9 pg в статусе active+remapped+backfill_toofull. Недостаточно места, препятствующее backfill (добавить хранилище, если это не решится само собой): 9 pg backfill_toofull pg 2.12 is active+remapped+backfill_toofull, acting [9,1,6] pg 2.2c is active+remapped+backfill_toofull, acting [9,7,2] pg 2.36 is active+remapped+backfill_toofull, acting [10,1,8] pg 2.39 is active+remapped+backfill_toofull, acting [9,6,2] pg 2.3f is active+remapped+backfill_toofull, acting [11,1,6] pg 2.5a is active+remapped+backfill_toofull, acting [11,6,2] pg 2.6e is active+remapped+backfill_toofull, acting [11,1,8] pg 2.71 is active+remapped+backfill_toofull, acting [11,8,2] pg 2.74 is active+remapped+backfill_toofull, acting [9,2,7] 
Вот вывод для, ceph df root@PVE12:~# ceph df --- RAW STORAGE --- CLASS SIZE AVAIL USED RAW USED %RAW USED ssd 24 TiB 12 TiB 12 TiB 12 TiB 50.03 TOTAL 24 TiB 12 TiB 12 TiB 12 TiB 50.03 --- POOLS --- POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL .mgr 1 1 177 MiB 28 532 MiB 0.03 516 GiB SSD1 2 128 4.3 TiB 1.19M 12 TiB 88.95 516 GiB .rgw.root 3 32 1.3 KiB 4 48 KiB 0 516 GiB default.rgw.log 4 32 242 B 2 32 KiB 0 516 GiB default.rgw.control 5 32 0 B 8 0 B 0 516 GiB default.rgw.meta 6 32 0 B 0 0 B 0 516 GiB root@PVE12:~# ceph osd df tree 
Процесс восстановления остановился, не доходит до очистки pg, проблема началась с неожиданными перезагрузками физических серверов из-за неисправного ИБП. Буду очень благодарен за любую помощь. : Спасибо, Heiber.
Вот вывод для, ceph df root@PVE12:~# ceph df --- RAW STORAGE --- CLASS SIZE AVAIL USED RAW USED %RAW USED ssd 24 TiB 12 TiB 12 TiB 12 TiB 50.03 TOTAL 24 TiB 12 TiB 12 TiB 12 TiB 50.03 --- POOLS --- POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL .mgr 1 1 177 MiB 28 532 MiB 0.03 516 GiB SSD1 2 128 4.3 TiB 1.19M 12 TiB 88.95 516 GiB .rgw.root 3 32 1.3 KiB 4 48 KiB 0 516 GiB default.rgw.log 4 32 242 B 2 32 KiB 0 516 GiB default.rgw.control 5 32 0 B 8 0 B 0 516 GiB default.rgw.meta 6 32 0 B 0 0 B 0 516 GiB root@PVE12:~# ceph osd df tree Процесс восстановления остановился, не доходит до очистки pg, проблема началась с неожиданными перезагрузками физических серверов из-за неисправного ИБП. Буду очень благодарен за любую помощь. : Спасибо, Heiber.
