Привет, оборудование было у провайдера удаленного хостинга (OVH), так что я не могу ответить на 100%, но исходя из моего понимания их среды, это были (а) ноды supermicro (б) 2 x 1gig интерфейса, подключенные к 1gig коммутаторам, откуда пришло публичное интернет-маршрутизирование и (в) 2 x 10gig интерфейса, подключенные к портам на 10gig коммутаторе. Затем с помощью менеджмента OVH нужно было назначить "VRack" - по сути, частное сетевое пространство - и назначить мои 10gig интерфейсы членами этой частной сети. Как только это было сделано, у меня была полная 10gig связь между настроенными 10gig интерфейсами / мультикаст / полный доступ к частной сети. Я не могу представить, как это реализовано на аппаратном уровне иначе, чем просто наличие жестко подключенных 10gig портов к 10gig коммутаторам; с их собственной управляющей системой для определения и назначения членства портов к так называемым "VRACKs". Я очень уверен, что проблемы не были связаны с сетью — OVH, похоже, хорошо справляется с обеспечением оборудования, которое соответствует заявленным спецификациям. У меня не было проблем с сетевым трафиком на частном VRACK (то есть я провел другой тест на том же оборудовании, используя в общей сложности 5 нод — 2 из них выступали как пара самостаянного устройства HA_NFS_Filer; экспортируя свой NFS через 10gig сеть VRACK; затем 3 из нод были стандартными проксими хостами, образующими 3-узловый кластер proxmox // используя NFS-хранение от HA_NFS_Filer — и это работало нормально. Но в конце концов, создание своего NFS Filer таким образом было намного более драматичным, чем просто покупка услуги HA_NFS_Filer у OVH и использование "NFS как услуги" — так что это и стало конечным решением. Но определенно, в моих тестах не было никакой неопределенности касательно моего недоверия к базовому оборудованию. Я не хорошо помню, но у меня есть общее представление о том, что после симулированного сбоя одной ноды в кластере с хранилищем на базе DRBD; рассмотрим сценарий, где всего 9 виртуальных машин, 3 на физический хост. DRBD реплицирует все хранилища виртуальных машин LUNs между всеми узлами proxmox. Узлы Proxmox имеют по ~2Tb аппаратного RAID, используемого как "хранилище DRBD", так что общая емкость хранилища DRBD для кластера составляет ~2Tb. Когда все работает гладко, например, в качестве отправной точки Proxmox1 имеет активную роль в DRBD для ВМ 1,2,3 Proxmox2 имеет активную роль в DRBD для ВМ 4,5,6 Proxmox3 имеет активную роль в DRBD для ВМ 7,8,9, и все узлы proxmox 1,2,3 имеют все 9 данных ВМ на своих "локальных дисках (то есть, которые реплицируются между всеми через DRBD)" и что я бы наблюдал после теста на сбой, например, если бы убил proxmox2, а затем перезагрузил его через 5 минут, Proxmox1 и 3 были бы в соответствии с мнением, что Proxmox2 пропал с радаров. Но как только Proxmox2 возвращался, у него могло быть несогласованное представление о том, кто был активно главным на некоторых ВМ, и не было никакого способа, как я мог бы это разрешить. DRBD довольно подробно описывал в логах, когда был доволен / когда не был доволен / когда синхронизировались данные. И определенно, это никогда не было неясно, в некоторых случаях он действительно хорошо вел себя и синхронизировал вещи / и все было хорошо через некоторое время, но в некоторых случаях (то есть в 1 из 3 тестов?) он никогда не возвращал состояния в правильное распределение, и они оставались несогласованными относительно того, кто на самом деле был первичным или нет для различных ВМ. И я не мог заставить обновление; синхронизация, и даже попытка удалить ВМ и затем переустановить не помогала — она была "застрявшей/сломанной". В любом случае. По правде говоря, настраивать это было несложно - если вы потратите на это несколько часов, у вас будет 3-узловый кластер DRBD, работающий. Затем, потратив еще несколько часов, вы сможете запустить несколько тестовых ВМ и провести несколько циклов "Live Migrate" и затем "Тестирование на сбой" и посмотреть, как все пойдет. Но - это просто не сработало для меня в прошлом году. Сначала, когда я задавал вопросы на форумах, мне вежливо, очень точно сказали от разработчика Proxmox: "DRBD на данный момент является функцией в стадии предварительного релиза" (то есть не готово к производству) и не было формально рекомендовано для производственного использования, только для тестов ради удовольствия. Надеюсь, это немного проясняет, какова была моя тестовая среда? Тим
