Мы используем PVE и Ceph на серверах Dell в шасси Dell M1000e. Сейчас используем две картонные платы с 2x 10 GbE портами, один для Ceph front-end, один для Ceph back-end. Public LANs, guest LANs и Corosync обрабатываются 4x 10GbE картами через 40GbE MXL коммутаторы, так что там все хорошо. OSD – это 8TB intel P4510 NVMe/PCIe 3.0 диски, и мне нужно знать, как лучше построить Ceph сети, чтобы получить от них максимум. Поскольку Ceph front-end и back-end каждый состоит из 20 Gb LAG, наш I/O bottleneck довольно очевиден, а тестирование производительности показывает около 2 GB/s. Если объединить Ceph сети в один 40 Gb LAG, производительность становится немного хуже. Мне просто нужно узнать, учитывая ограничения M1000e, как лучше построить Ceph front/back end сети для наилучшей производительности гостевых VM? Какой опыт и мнение сообщества в целом? У нас есть варианты Infiniband 56 Gb и 40 Gb для нашего оборудования, которые мы рассматриваем, чтобы максимально отодвинуть bottleneck. Поддерживается ли Infiniband на PVE/Ceph? Вы используете их в чистом Infiniband режиме, в Ethernet режиме или IPoIB? Работает ли RDMA / используете ли вы его? Какую производительность вы получаете? Все доступные NIC основаны на ConnectX-3 silicon. FDR коммутатор — M4001F, а FDR10 коммутатор — M4001T, так что, видимо, FDR и FDR10 детали не взаимозаменяемы. Я все равно планирую как минимум 56 Gb. Все NIC – это двухпортовые NIC, и в шасси будет 4 коммутатора. Как можно объединить / агрегировать / связать ссылки, чтобы эффективно получить 112 Gb?