Извиняюсь за задержку с ответом, я поменял второй сетевой интерфейс, но проблема осталась той же. Хотелось бы узнать про osds Ceph в Proxmox, какой типичный задержка (в мс) у осд? Кажется, задержка слишком большая? Разве нормальная задержка не должна быть около 3–4 мс для каждого osd?

У меня примерно такая же ужасная скорость Ceph на 12 OSD с 10-гигабитной сетью. Я поставил Kingston V300 под журналы, и сначала это выжало максимум из моей 1-гигабитной сети на первый гигабайт, а потом скорость снова упала до 1-40 Мб/с. Скоро поставлю третий узел с хорошим количеством OSD, посмотрю, поможет ли это с производительностью Ceph. Если нет — перейду на GlusterFS или что-то в этом роде, потому что Ceph на Proxmox у меня, честно говоря, не работает так, как должен. В графическом интерфейсе вообще нельзя задать размер журнала, даже если прописать его в /etc/pve/ceph.conf. Судя по рассылке Ceph, большинство юзеров — это крупные дата-центры, так что если упомянуть обычные потребительские диски или SSD для журналов, над тобой просто посмеются...