http://proxmox.su Новое в теме Кластер из 3 узлов Proxmox с Ceph и настройкой сети форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sun, 07 Jun 2026 00:29:26 +0300 Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я бы посоветовал обойтись без 10GB коммутатора и напрямую связать машины, если в вашем кластере всего 3 узла. Вам понадобятся три Intel x520-DA2, которые можно найти на eBay примерно за 100 долларов за штуку. Так вы сможете настроить статическую сеть Ceph без коммутатора и при этом получить преимущества 10GB. Я делаю так с DRBD, и всё работает нормально, пока не случается разделение мозга, но это уже другая история.
03.06.2016 19:56:00, finish06.]]> http://proxmox.su/forum/messages/forum63/message356659/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356659/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Fri, 03 Jun 2016 19:56:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, в чём вопрос? Похоже, я не понял из твоего первого сообщения. Я никогда не настраиваю сеть Ceph с 1 Гбит сетевыми картами — это слишком медленно и не рекомендуется.
30.05.2016 08:58:00, tom.]]> http://proxmox.su/forum/messages/forum63/message356658/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356658/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Mon, 30 May 2016 08:58:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вопрос на самом деле совсем не общий. Я являюсь администратором сети и системным администратором, и также умею настраивать коммутаторы. Мне нужна помощь именно с Proxmox, пожалуйста.
30.05.2016 00:32:00, Graham Payton.]]> http://proxmox.su/forum/messages/forum63/message356657/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356657/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Mon, 30 May 2016 00:32:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Потому что 10Gbit коммутаторы слишком дорогие. А вот что у меня есть.
30.05.2016 00:30:00, Graham Payton.]]> http://proxmox.su/forum/messages/forum63/message356656/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356656/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Mon, 30 May 2016 00:30:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Ух ты... 14 гигабитных сетевых карт. Почему не используешь 10-гигабитные?
29.05.2016 22:03:00, Brawn1.]]> http://proxmox.su/forum/messages/forum63/message356655/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356655/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Sun, 29 May 2016 22:03:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Твой вопрос слишком общий, лучше задавать более конкретные и простые вопросы. Также стоит обратиться к своему сетевому администратору и/или документации на коммутатор, чтобы подобрать идеальную настройку под твои нужды. По документации по сети Ceph можно посмотреть здесь: http://docs.ceph.com/docs/master/
28.05.2016 16:55:00, tom.]]> http://proxmox.su/forum/messages/forum63/message356654/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356654/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Sat, 28 May 2016 16:55:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Серверы нужно запускать в боевой среде, поэтому я должен сделать всё возможное, чтобы обеспечить максимально возможное время безотказной работы. У меня есть 3 сетевые карты PCIe, каждая с 4 портами. Если одна карта выйдет из строя, я сразу потеряю 4 порта. Надеюсь использовать два физических коммутатора, объединённых в один логический, что позволит распределить сетевые связки между ними. В этом случае, если один коммутатор упадёт, я потеряю только половину сетевых карт. Ещё вопрос: нужны ли два VLAN’а/сети для Ceph? Один для репликации, другой для доступа к нему с ВМ/Proxmox? Документация в этом плане вообще не проясняет ситуацию. И до сих пор я никак не получил обратной связи от людей из Proxmox, что очень разочаровывает, учитывая, что мы ещё и подписки у них купили.
25.05.2016 17:11:00, Graham Payton.]]> http://proxmox.su/forum/messages/forum63/message356653/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356653/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Wed, 25 May 2016 17:11:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Тот самый, что приведён выше, однозначно! Ты правда думаешь, что одновременно сломается сразу много NIC? По моему скромному мнению, риск негативного влияния, скажем, от CEPH LAN на кластерный LAN выше, чем одновременный сбой двух независимых NIC для кластерного LAN.
25.05.2016 16:44:00, Richard.]]> http://proxmox.su/forum/messages/forum63/message356652/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356652/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Wed, 25 May 2016 16:44:00 +0300 Proxmox Виртуальная Среда Кластер из 3 узлов Proxmox с Ceph и настройкой сети Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здравствуйте, мне нужно настроить кластер с высокой доступностью из 3 узлов на базе Proxmox. При этом планируется использовать локальные диски на каждом узле для кластера Ceph. Я собираюсь использовать VE 4.2. Вопрос у меня в основном по поводу предпочтительного способа организации сети для этого.

У меня есть коммутатор Cisco SG300-52 третьего уровня, и я хочу настроить несколько VLAN как для Proxmox/Ceph, так и для виртуальных машин.

Пока мои мысли таковы — мне нужны отдельные сети для Proxmox/Ceph:

1. Управление Proxmox (2 NIC)  
2. Кластерная связь Proxmox (2 NIC)  
3. Репликация Ceph (6 NIC)  
4. Все остальные VLAN для виртуальных машин (4 NIC)

Судя по всему, есть два подхода, когда люди создают гипервизоры и кластеры.

Первый — объединить все сетевые карты (NIC) в один бонд и на коммутаторе, и в Proxmox, а уже внутри OpenvSwitch разделять трафик по VLAN. При этом использовать какую-то систему управления пропускной способностью, чтобы контролировать, сколько ресурсов получает каждый VLAN или группа VLAN внутри OpenvSwitch.

Второй — создать отдельные linux-bond’ы для трёх VLAN Proxmox/Ceph, указанных выше, а для VLAN виртуальных машин использовать отдельный bond с OpenvSwitch.

Очевидно, что первый вариант даёт большую отказоустойчивость: можно потерять много сетевых карт — и система всё равно будет работать, пусть и с пониженной производительностью. Ранее я делал так в Hyper-V, но в OpenvSwitch я новичок, а с Proxmox до этого имел дело только на одном сервере без VLAN.

Второй вариант обеспечивает отказоустойчивость для управления и кластерной связи, но если вы потеряете обе NIC в каждом bond-е — останетесь без связи.

Буду признателен за мнения. Если у кого есть ссылки на инструкции по этой теме — очень прошу поделиться.

Большое спасибо!
05.05.2016 15:02:00, Graham Payton.]]> http://proxmox.su/forum/messages/forum63/message356651/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti http://proxmox.su/forum/messages/forum63/message356651/81373-klaster-iz-3-uzlov-proxmox-s-ceph-i-nastroykoy-seti Thu, 05 May 2016 15:02:00 +0300 Proxmox Виртуальная Среда