Для нормальной скорости Ceph сеть слишком медленная. VLAN не рекомендуемая конфигурация, хотя технически это возможно. Почему вы использовали 2x dual LACP вместо LACP на всех линках? Можете добавить больше или более производительные сетевые карты?

Официальная рекомендация гласит, что нужно как минимум 3 выделенных сетевых карты: CEPH public, CEPH private, COROSYNC. Я бы добавил еще одну для "обычных сетевых задач", как вы и сделали, так что минимум — 4. Если сетевых карт больше, то стоит объединить в LACP те, которым нужна скорость. Согласно вышеупомянутой рекомендации, это CEPH private (синхронизация, репликация и т.д.), затем CEPH public. Есть также сообщения о том, что можно использовать LACP и объединять каналы, но можно столкнуться с таймаутами, которые сломают кластер. Использование DSCP могло бы помочь, чтобы можно было использовать канал COROSYNC по другому, возможно, перегруженному каналу.