Хорошо, я решил заняться сетями для своего запланированного кластера и перед покупкой «штуковин» хочу убедиться, что ни о чем не забыл и не купил слишком мало или слишком много для своих нужд. У меня есть 3 Minisforum MS-01 с Intel 13 i9, 96 ГБ оперативки, Samsung enterprise 7,6 ТБ U2 SSD (Ceph) и 2 ТБ M.2 для ОС. Они имеют по два порта на 2,5 Гбит/с и два на 10 Гбит/с, а также свободный слот PCIe 4 x8.

Для приватной сети Ceph я планировал использовать MikroTik CRS504-4XQ-IN с 4 портами по 100 Гбит/с. Для публичной сети Ceph думал взять еще один MikroTik CRS504-4XQ-IN, но тогда мне нужна будет сетевая карта с двумя портами по 100 Гбит/с и интерфейсом PCIe x8. Не уверен, насколько это реально — возможно, будет проблема с нагревом.

Для Promox Corosync хотел использовать один из портов на 2,5 Гбит/с и дешевый 4-портовый коммутатор. Для виртуальных машин, контейнеров и бэкап-сервера планирую CRS309-1G-8S+IN с 8 портами по 10 Гбит/с.

По поводу двойных 100 Гбит/с сетевых карт: Mellanox MCX516A-CCAT ConnectX-5 EN — это PCIe 3 x16, и мне кажется, что это примерно то же самое, что PCIe 4 x8. Если 25 Гбит/с будет достаточно для трёх OSD Ceph, которые я планирую, могу сэкономить — легко найти двухпортовые NIC на 25 Гбит/с для нод. С 40 Гбит/с бывшим в употреблении корпоративным оборудованием та же ситуация.

Полноразмерные стойковые решения меня не интересуют. Хочу держать сети физически раздельными, без VLAN для Ceph и Corosync.

Думаю, у меня неплохой план, но с PCIe сетевыми картами пока не разобрался. С MikroTik у меня нет опыта. Я чего-то недооценил или переоценил? Может, что-то не учел? Есть ли советы или мнения?

Спасибо!