Партиция Infiniband в Proxmox, Proxmox Виртуальная Среда
wahmed
Guest
0
27.04.2015 22:27:00
Есть тут кто-то из пользователей Infiniband, кто успешно настроил Partition на ib_ipoib?
e100
Guest
0
14.05.2015 14:16:00
Пару лет назад я уже изучал этот вопрос и пришёл к выводу, что это невозможно. Единственный способ «запихнуть» IB в гостевую систему, о котором я могу подумать, — это напрямую передать IB-карту гостю, но это мало подходит как решение. Может, что-то вроде этого помогло бы решить проблему: KVM -> VDE поверх IPoIB? Я поискал и не нашёл ничего про использование VDE поверх Infiniband. Или, может, использование EoIB (Ethernet поверх IB) вместо IPoIB открыло бы новые возможности?
impire
Guest
0
19.07.2015 01:11:00
Если я правильно понял, мы не можем использовать Infiniband для виртуальных машин (гостей)? Я успешно настроил Ceph, и он нормально работает через Infiniband-адаптер (ib0). У меня есть еще один Infiniband-коммутатор, который я хотел бы использовать для ВМ, чтобы отправлять резервные копии на выделенные серверы. Но, как отметил symmcom, невозможно создать мост с ib0. Значит, даже если я поставлю отдельный Infiniband-адаптер (ib1), я не смогу использовать его с ВМ на другом коммутаторе?
wahmed
Guest
0
19.07.2015 03:00:00
Верно. Infiniband просто нельзя напрямую подключить к виртуальной машине. Основной причиной, почему я хотел создать VLAN-подобный раздел для резервного копирования, была именно эта необходимость. Но это не сработало. Чтобы решить проблему, мы подняли пару узлов Proxmox в одном кластере с ZFS и Gluster поверх, и подвязали кластер Gluster к хранилищу Proxmox. Резервные копии теперь делаются через отдельное устройство IB на отдельном хранилище. Всё отлично заработало. Отправлено с моего SM-N910W8 через Tapatalk
impire
Guest
0
19.07.2015 09:03:00
Большое спасибо! Это очень помогает. Не могли бы вы подробно объяснить, как настроить узлы Proxmox в одном кластере с ZFS и Gluster сверху, а затем подключить этот кластер к хранилищу Proxmox?
wahmed
Guest
0
20.07.2015 22:20:00
Здесь никаких хитростей нет. Просто следовал вики Proxmox для настройки узла Proxmox с ZFS и Gluster. Ниже упрощённые шаги:
1. Настройте 2 узла с одинаковым количеством HDD. Я использовал один SSD для ОС и четыре 4 ТБ SATA на каждом узле. 2. Установите Proxmox на оба узла. 3. Создайте ZFS-пул на каждом узле с помощью команды: #zpool create -f -o ashift=12 <pool_name> /dev/sdb /dev/sdc /dev/sdd /dev/sde 4. Смонтируйте ZFS-пул следующими командами: #zfs set mountpoint=/mnt/zfspool <pool_name> #zfs mount -a 5. Установите gluster, используя эту документацию: 6. Выполните следующие команды на каждом узле, чтобы добавить их в кластер gluster: На узле 1: #gluster peer probe <node2_IP> На узле 2: #gluster peer probe <node1_IP> 7. На узле 1 создайте том Gluster командой: #gluster volume create <name> replica 2 transport tcp <node1_IP>:/mnt/zfspool/<name> <node2_IP>:/mnt/zfspool/<name> 8. Запустите том Gluster: #gluster volume start <name> 9. Установите авторизацию тома Gluster для конкретной подсети: #gluster volume set <name> auth.allow 127.0.0.1,<pmx.cluster.subnet.*> 10. Подключите хранилище gluster к Proxmox через GUI с помощью плагина gluster storage.
impire
Guest
0
20.07.2015 23:10:00
Большое спасибо. 1) Я правильно понимаю, что эти два узла подключены к разным коммутаторам Infiniband? 2) Эти два узла входят в отдельный кластер Proxmox? Вы устанавливаете на них Ceph? 3) Поскольку они подключены к разным коммутаторам Infiniband, как этот кластер связывается с другим кластером Ceph или кластером Proxmox для резервного копирования виртуальных машин? Заранее благодарю за помощь.
wahmed
Guest
0
21.07.2015 00:05:00
Вы можете настроить как отдельный коммутатор на отдельных IB-интерфейсных картах, так и использовать существующую сеть IB для Ceph, если она у вас есть. Если вы используете IB с пропускной способностью 10+ Гбит/с, резервное копирование не будет занимать всю пропускную способность, так как есть ограничение по скорости записи на HDD. У нас есть оба варианта настройки, и разница в производительности не особо заметна. Если вы не собираетесь использовать общий IB-коммутатор, тогда нужно будет установить дополнительные IB-карты во все узлы кластера, которые подключатся через отдельный коммутатор. При этом узлы вовсе не обязаны быть отдельным кластером. Им также не нужно устанавливать Ceph, так как их единственная задача — раздавать Gluster на ZFS для резервного хранилища. Эти узлы могут входить в существующий кластер Proxmox, так вы сможете отслеживать их через тот же графический интерфейс. В таком случае у узлов будет один интерфейс (Gigabit) для связи с кластером Proxmox, а IB-интерфейс будет использоваться для резервного копирования. Для этого в каждый узел устанавливаются отдельные IB-карты. Предположим, что в вашей текущей среде каждый узел имеет одну гигабитную сетевую карту для связи с кластером Proxmox и одну IB-карту для сети Ceph. Для сети резервного копирования вы добавляете ещё одну IB-карту в каждый узел и настраиваете её на отдельную подсеть. По сути, вы создаёте новую сеть для бэкапов. Надеюсь, всё понятно и я не усложнил вам задачу.
wahmed
Guest
0
14.05.2015 05:14:00
Похоже, я порадовался слишком рано. Хотя разделы IB между узлами работают отлично, создать виртуальный мост с этими дополнительными портами IB, разделёнными по разделам, у меня не получается. Я пробовал Open vSwitch, но и это не дало результатов. Пока что, судя по гуглению, ситуация неприятная. Возможно, вообще нет способа создать виртуальный мост с IB. Кто-нибудь знает, можно ли вообще создавать мост с IB-портами или это вообще не вариант? Как лучше всего подключить IB к виртуальной машине?