http://proxmox.su Новое в теме DRBD9, drbdmanage и сеть хранения с полной связностью форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 13 Nov 2026 19:05:22 +0300 DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, оборудование было у провайдера удаленного хостинга (OVH), так что я не могу ответить на 100%, но исходя из моего понимания их среды, это были (а) ноды supermicro (б) 2 x 1gig интерфейса, подключенные к 1gig коммутаторам, откуда пришло публичное интернет-маршрутизирование и (в) 2 x 10gig интерфейса, подключенные к портам на 10gig коммутаторе. Затем с помощью менеджмента OVH нужно было назначить "VRack" - по сути, частное сетевое пространство - и назначить мои 10gig интерфейсы членами этой частной сети. Как только это было сделано, у меня была полная 10gig связь между настроенными 10gig интерфейсами / мультикаст / полный доступ к частной сети. Я не могу представить, как это реализовано на аппаратном уровне иначе, чем просто наличие жестко подключенных 10gig портов к 10gig коммутаторам; с их собственной управляющей системой для определения и назначения членства портов к так называемым "VRACKs". Я очень уверен, что проблемы не были связаны с сетью — OVH, похоже, хорошо справляется с обеспечением оборудования, которое соответствует заявленным спецификациям. У меня не было проблем с сетевым трафиком на частном VRACK (то есть я провел другой тест на том же оборудовании, используя в общей сложности 5 нод — 2 из них выступали как пара самостаянного устройства HA_NFS_Filer; экспортируя свой NFS через 10gig сеть VRACK; затем 3 из нод были стандартными проксими хостами, образующими 3-узловый кластер proxmox // используя NFS-хранение от HA_NFS_Filer — и это работало нормально. Но в конце концов, создание своего NFS Filer таким образом было намного более драматичным, чем просто покупка услуги HA_NFS_Filer у OVH и использование "NFS как услуги" — так что это и стало конечным решением. Но определенно, в моих тестах не было никакой неопределенности касательно моего недоверия к базовому оборудованию. Я не хорошо помню, но у меня есть общее представление о том, что после симулированного сбоя одной ноды в кластере с хранилищем на базе DRBD; рассмотрим сценарий, где всего 9 виртуальных машин, 3 на физический хост. DRBD реплицирует все хранилища виртуальных машин LUNs между всеми узлами proxmox. Узлы Proxmox имеют по ~2Tb аппаратного RAID, используемого как "хранилище DRBD", так что общая емкость хранилища DRBD для кластера составляет ~2Tb. Когда все работает гладко, например, в качестве отправной точки Proxmox1 имеет активную роль в DRBD для ВМ 1,2,3 Proxmox2 имеет активную роль в DRBD для ВМ 4,5,6 Proxmox3 имеет активную роль в DRBD для ВМ 7,8,9, и все узлы proxmox 1,2,3 имеют все 9 данных ВМ на своих "локальных дисках (то есть, которые реплицируются между всеми через DRBD)" и что я бы наблюдал после теста на сбой, например, если бы убил proxmox2, а затем перезагрузил его через 5 минут, Proxmox1 и 3 были бы в соответствии с мнением, что Proxmox2 пропал с радаров. Но как только Proxmox2 возвращался, у него могло быть несогласованное представление о том, кто был активно главным на некоторых ВМ, и не было никакого способа, как я мог бы это разрешить. DRBD довольно подробно описывал в логах, когда был доволен / когда не был доволен / когда синхронизировались данные. И определенно, это никогда не было неясно, в некоторых случаях он действительно хорошо вел себя и синхронизировал вещи / и все было хорошо через некоторое время, но в некоторых случаях (то есть в 1 из 3 тестов?) он никогда не возвращал состояния в правильное распределение, и они оставались несогласованными относительно того, кто на самом деле был первичным или нет для различных ВМ. И я не мог заставить обновление; синхронизация, и даже попытка удалить ВМ и затем переустановить не помогала — она была "застрявшей/сломанной". В любом случае. По правде говоря, настраивать это было несложно - если вы потратите на это несколько часов, у вас будет 3-узловый кластер DRBD, работающий. Затем, потратив еще несколько часов, вы сможете запустить несколько тестовых ВМ и провести несколько циклов "Live Migrate" и затем "Тестирование на сбой" и посмотреть, как все пойдет. Но - это просто не сработало для меня в прошлом году. Сначала, когда я задавал вопросы на форумах, мне вежливо, очень точно сказали от разработчика Proxmox: "DRBD на данный момент является функцией в стадии предварительного релиза" (то есть не готово к производству) и не было формально рекомендовано для производственного использования, только для тестов ради удовольствия. Надеюсь, это немного проясняет, какова была моя тестовая среда? Тим
03.06.2017 19:06:00, fortechitsolutions.]]> http://proxmox.su/forum/messages/forum63/message367020/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367020/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Sat, 03 Jun 2017 19:06:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Тим. Очень интересно. Я планирую сделать что-то похожее, не знал, что это может быть так сложно. Ты соединял узлы без свича? И могли ли проблемы быть связаны с сетью? Может, стоит попробовать с свичем. Спасибо, Феликс.
03.06.2017 10:01:00, flexyz.]]> http://proxmox.su/forum/messages/forum63/message367019/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367019/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Sat, 03 Jun 2017 10:01:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Не хочу быть негативным или печальным человеком, но, возможно, мой опыт будет немного полезным или, возможно, вызовет ответную историю от кого-то другого. В прошлом году я провел некоторое время, создавая тестовую конфигурацию на 4.X.Latest — работа длилась несколько месяцев — маленький тестовый кластер из 3 узлов с 10 гигабитным соединением между узлами для репликации данных. Хранение на DRBD в «новой модели». Все было «довольно круто». Однако после симуляции сбоев DRBD стало либо головной болью, либо настоящим кошмаром, в зависимости от философии. Симулированные сбои в моем случае означали следующее: на удаленном IPMI-администраторе одного из узлов я выполнял команду «жесткое выключение» для одного из трех узлов кластера Proxmox. Затем ждал 5 минут и включал его снова. Потом наблюдал, как все себя ведет. В целом, мне было слишком легко довести DRBD до состояния, из которого было трудно восстановиться. Попытки разобраться с ситуацией вызывали трудности, несмотря на то, что я пытался следовать тому, что считал «довольно стандартными» путями оценки и восстановления. Можно сказать, что я работал в среде без поддержки, не платя за поддержку DRBD и т.д., и, возможно, я не имел большого опыта с DRBD. Но после определенного уровня тестирования мне стало ясно, что сценарии переключения на резервный вариант не были достаточно надежными для удобства использования в рамках данного проекта. Возможно, с тех пор что-то изменилось, но я не уверен, так как не смотрел на это снова после теста. В конечном итоге для этого клиента я использовал крайне невыразительное, но при этом ужасно простое и надежное решение: его провайдер предложил услугу HA_NFS_Filer (предполагаю, что это основано на ZFS под капотом на настраиваемых серверах, которыми они управляют от вашего имени; но в конечном итоге — это классическая HA_NFS многоголовая репликация данных с IP-сбоем). Мы просто подписались на несколько бакетов по ~500-1000 ГБ HA_NFS сервиса, «хранение как услуга», а затем использовали их в качестве общих NFS хранилищ на Proxmox, и это сработало. Чертовски просто. Очень надежно. Никакой боли. И 100% невыразительно, никакого интересного «вау», но, знаете, когда что-то работает 24/7/365, это — своеобразное «вау». Тим
02.06.2017 21:52:00, fortechitsolutions.]]> http://proxmox.su/forum/messages/forum63/message367018/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367018/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Fri, 02 Jun 2017 21:52:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Можешь опубликовать детали здесь или, может быть, у тебя есть рабочая ссылка? Спасибо!
02.06.2017 12:58:00, flexyz.]]> http://proxmox.su/forum/messages/forum63/message367017/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367017/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Fri, 02 Jun 2017 12:58:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, я неправильно прочитал... Здорово знать, что мост работает с прямым подключением и с тем же IP.
22.08.2016 14:51:00, metaplop.]]> http://proxmox.su/forum/messages/forum63/message367016/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367016/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Mon, 22 Aug 2016 14:51:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет никакого переключателя; смотри предыдущие сообщения: пока, Роб.
22.08.2016 14:33:00, resoli.]]> http://proxmox.su/forum/messages/forum63/message367015/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367015/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Mon, 22 Aug 2016 14:33:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, все ли твои 6 интерфейсов подключены к одному и тому же коммутатору? Если да, то почему ты не используешь агрегацию с LACP (вместо мостирования) для обеспечения отказоустойчивости и балансировки нагрузки?
22.08.2016 12:23:00, metaplop.]]> http://proxmox.su/forum/messages/forum63/message367014/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367014/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Mon, 22 Aug 2016 12:23:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мне удалось настроить рабочую полную сетку; правильное предложение пришло из рассылки drbd-user: используйте мост вместо маршрутизации. В этом сообщении я делаю подробности: https://lists.gt.net/drbd/users/28251#28251 Пока, Роб.
22.08.2016 11:10:00, resoli.]]> http://proxmox.su/forum/messages/forum63/message367013/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367013/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Mon, 22 Aug 2016 11:10:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обновление: оказывается, всё не так хорошо: у меня были множество странных проблем с соединением между узлами кластера drbd9, и в итоге мне пришлось подключить их через выделенный свитч (больше никаких соединений интерфейс-к-интерфейсу). Мой вопрос о проблемах с соединением: "К какому интерфейсу/адресу привязывается поток ядра drbd, когда он слушает соединения от других узлов?" Два интерфейса, один и тот же IP, один и тот же порт... роб
26.04.2016 22:22:00, resoli.]]> http://proxmox.su/forum/messages/forum63/message367012/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367012/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Tue, 26 Apr 2016 22:22:00 +0300 Proxmox Виртуальная Среда DRBD9, drbdmanage и сеть хранения с полной связностью Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я хотел бы создать pve4 с тремя узлами с хранилищем drbd9. Я прочитал соответствующую статью в вики Proxmox и документацию по drbd9 на сайте Linbit. Насколько я понимаю, новый инструмент drbdmanage является способом упростить конфигурацию drbd и включает в себя создание ресурса drbdctrl. У меня в настройке есть возможность выделить две физические интерфейсы на узел для сети хранения и, возможно, создать "full mesh" сеть, как указано в главе 5.1.4 руководства DRBD9 (http://drbd.linbit.com/doc/users-guide-90/ch-admin-manual#s-drbdconf-conns). Я понимаю, что эта топология сети в настоящее время не поддерживается drbdmanage, и хотел бы узнать, возможно ли настроить три узла хранения как обычно (по одному IP-адресу на узел), а затем изменить конфигурацию сетевых соединений. Есть какие-либо советы или предложения? Спасибо, Роб.
24.03.2016 15:17:00, resoli.]]> http://proxmox.su/forum/messages/forum63/message367011/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu http://proxmox.su/forum/messages/forum63/message367011/82447-drbd9_-drbdmanage-i-set-khraneniya-s-polnoy-svyaznostyu Thu, 24 Mar 2016 15:17:00 +0300 Proxmox Виртуальная Среда