Привет всем, мы только что решили построить новую виртуализационную среду на базе трех узлов PVE+Ceph. В данный момент у нас работает около 50 виртуальных машин (серверы Windows и Linux), которым назначены 192 vCPU, 377 ГБ ОЗУ и 12 ТБ выделенного хранилища, из которых реально используется 8,3 ТБ. Мы хотим настроить как можно более стандартную установку PVE и Ceph. Первые два шага, которые я имею в виду: 1) планирование серверного оборудования и 2) планирование сетевой инфраструктуры вокруг этих серверов. 1) Серверное оборудование Поскольку мы очень довольны Thomas Krenn на протяжении многих лет, мы хотели бы купить эти серверы там. Вот моя первая версия (на машину): ** 2HE AMD Dual-CPU RA2224 Server ** ЦП: 2x AMD EPYC 7351 ОЗУ: 256 ГБ (4x 64 ГБ) ECC Reg DDR4 2666 SSD (ОС и ПО): 2x 240 ГБ Samsung SM883 SSD (Ceph): 7x 1,92 ТБ Samsung SM883 (каждый из них OSD+Journal для хранения Ceph) 1x Broadcom HBA 9300-8i 2x Intel 10 Gigabit X710-DA2 SFP+ стандартные подписки Proxmox на 5 лет с основным аппаратным обеспечением примечания: а) Почему AMD? Потому что, когда Голиаф сражается с Давидом, мы на стороне Давида. Есть ли серьезные причины использовать Intel в любом случае? б) SSD: Что насчет SM883 против PM883? Или что-то совершенно другое? 2) Сеть Три узла будут находиться в трех разных комнатах, которые соединены волоконно-оптическими соединениями OM3 (R1 <-107 метров-> R2 <-145 метров-> R3). В каждой комнате есть виртуальный шасси переключателей на базе Juniper EX3300 (также соединенные друг с другом через 10 Гбит/с, используя упомянутые выше соединения). Везде есть как минимум четыре свободных порта на 10 Гбит/с. На мой взгляд, "очевидный" путь таков: 1x 10 Гбит/с для "сети ВМ" 1-2x 10 Гбит/с для Ceph 1x 10 Гбит/с для живой миграции Еще одна дикая идея — создать прямую mesh-сеть для Ceph, используя более 10 Гбит/с. Здесь вопрос: что возможно с 145 метрами OM3: 25 Гбит/с? 40 Гбит/с? Ещё больше? На данный момент всё. Я был бы очень рад вашим комментариям по этому проекту, и обещаю провести любые тесты производительности, которые вы захотите увидеть в этой среде, когда она будет построена! Спасибо и привет из Германии, Стефан