Я пока не сдаюсь. И я кое-что выяснил: оказывается, групповая скорость по умолчанию для IB-подсети (по крайней мере, судя по информации на моём SX6036) составляет 10 Гбит/с (судя по выводу ipdiagnet, но я также нашёл ссылку, подтверждающую, что настройка "3" по умолчанию для групповой скорости на коммутаторе действительно соответствует 10 Гбит/с). К сожалению, я не нашёл способа изменить настройки подсети по умолчанию. Но я смог создать новую подсеть, для которой мог указать свою собственную групповую скорость. Я выбрал 56 Гбит/с. Теперь мне нужно было, чтобы мои карты CX3 использовали эту подсеть тоже. Не уверен, есть ли другие способы это сделать, но тот, который я нашёл, — это создать дочерний интерфейс на основном интерфейсе карты CX3 и назначить ему P_Key новой желаемой подсети. Затем этому новому дочернему интерфейсу нужно было присвоить собственный IP-адрес, и после того, как я сделал то же самое на одном из других узлов, они смогли общаться через новую подсеть. Теперь, по какой-то причине, это не дало мне скорости выше 13 Гбит/с. Возможно, я всё-таки ограничен производительностью слота PCIe (и я буду это исследовать) или что карта CX3 не имеет достаточной пропускной способности (что кажется маловероятным, учитывая, что она выдаёт 33 Гбит/с в режиме ETH). Но я всё-таки преодолел барьер в 10 Гбит/с. Интересно, что теперь ibdiagnet перечисляет обе подсети следующим образом: Код: -I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Подсеть: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Субоптимальная скорость для группы. Самая низкая скорость участника:40Gbps > групповая-скорость:10Gbps
-I- Подсеть: IPv4 PKey:0x7ffe QKey:0x00000b1b MTU:2048Byte rate:RRGbps SL:0x00
-W- Субоптимальная скорость для группы. Самая низкая скорость участника:40Gbps > групповая-скорость:RRGbps PKey 7fff — это подсеть по умолчанию, 7ffe — моя новая подсеть (заметьте креативность!). И её групповая скорость — RRGbps — что бы это ни значит (может быть, 13 Гбит/с?). Я продолжу экспериментировать.
