Аспро: ЛайтШоп [тема: Партиция Infiniband в Proxmox]

Партиция Infiniband в Proxmox

Thu, 14 May 2015 05:14:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, я порадовался слишком рано. Хотя разделы IB между узлами работают отлично, создать виртуальный мост с этими дополнительными портами IB, разделёнными по разделам, у меня не получается. Я пробовал Open vSwitch, но и это не дало результатов. Пока что, судя по гуглению, ситуация неприятная. Возможно, вообще нет способа создать виртуальный мост с IB. Кто-нибудь знает, можно ли вообще создавать мост с IB-портами или это вообще не вариант? Как лучше всего подключить IB к виртуальной машине?
14.05.2015 05:14:00, wahmed.

Партиция Infiniband в Proxmox

Tue, 21 Jul 2015 00:05:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы можете настроить как отдельный коммутатор на отдельных IB-интерфейсных картах, так и использовать существующую сеть IB для Ceph, если она у вас есть. Если вы используете IB с пропускной способностью 10+ Гбит/с, резервное копирование не будет занимать всю пропускную способность, так как есть ограничение по скорости записи на HDD. У нас есть оба варианта настройки, и разница в производительности не особо заметна. Если вы не собираетесь использовать общий IB-коммутатор, тогда нужно будет установить дополнительные IB-карты во все узлы кластера, которые подключатся через отдельный коммутатор. При этом узлы вовсе не обязаны быть отдельным кластером. Им также не нужно устанавливать Ceph, так как их единственная задача — раздавать Gluster на ZFS для резервного хранилища. Эти узлы могут входить в существующий кластер Proxmox, так вы сможете отслеживать их через тот же графический интерфейс. В таком случае у узлов будет один интерфейс (Gigabit) для связи с кластером Proxmox, а IB-интерфейс будет использоваться для резервного копирования. Для этого в каждый узел устанавливаются отдельные IB-карты. Предположим, что в вашей текущей среде каждый узел имеет одну гигабитную сетевую карту для связи с кластером Proxmox и одну IB-карту для сети Ceph. Для сети резервного копирования вы добавляете ещё одну IB-карту в каждый узел и настраиваете её на отдельную подсеть. По сути, вы создаёте новую сеть для бэкапов. Надеюсь, всё понятно и я не усложнил вам задачу.
21.07.2015 00:05:00, wahmed.

Партиция Infiniband в Proxmox

Mon, 20 Jul 2015 23:10:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Большое спасибо. 1) Я правильно понимаю, что эти два узла подключены к разным коммутаторам Infiniband? 2) Эти два узла входят в отдельный кластер Proxmox? Вы устанавливаете на них Ceph? 3) Поскольку они подключены к разным коммутаторам Infiniband, как этот кластер связывается с другим кластером Ceph или кластером Proxmox для резервного копирования виртуальных машин? Заранее благодарю за помощь.
20.07.2015 23:10:00, impire.

Партиция Infiniband в Proxmox

Mon, 20 Jul 2015 22:20:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Здесь никаких хитростей нет. Просто следовал вики Proxmox для настройки узла Proxmox с ZFS и Gluster. Ниже упрощённые шаги:

1. Настройте 2 узла с одинаковым количеством HDD. Я использовал один SSD для ОС и четыре 4 ТБ SATA на каждом узле.
2. Установите Proxmox на оба узла.
3. Создайте ZFS-пул на каждом узле с помощью команды:
#zpool create -f -o ashift=12 /dev/sdb /dev/sdc /dev/sdd /dev/sde
4. Смонтируйте ZFS-пул следующими командами:
#zfs set mountpoint=/mnt/zfspool
#zfs mount -a
5. Установите gluster, используя эту документацию: http://www.gluster.org/community/documentation/index.php/Getting_started_install
6. Выполните следующие команды на каждом узле, чтобы добавить их в кластер gluster:
На узле 1:
#gluster peer probe
На узле 2:
#gluster peer probe
7. На узле 1 создайте том Gluster командой:
#gluster volume create replica 2 transport tcp :/mnt/zfspool/ :/mnt/zfspool/
8. Запустите том Gluster:
#gluster volume start
9. Установите авторизацию тома Gluster для конкретной подсети:
#gluster volume set auth.allow 127.0.0.1,
10. Подключите хранилище gluster к Proxmox через GUI с помощью плагина gluster storage.
20.07.2015 22:20:00, wahmed.

Партиция Infiniband в Proxmox

Sun, 19 Jul 2015 09:03:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Большое спасибо! Это очень помогает. Не могли бы вы подробно объяснить, как настроить узлы Proxmox в одном кластере с ZFS и Gluster сверху, а затем подключить этот кластер к хранилищу Proxmox?
19.07.2015 09:03:00, impire.

Партиция Infiniband в Proxmox

Sun, 19 Jul 2015 03:00:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Верно. Infiniband просто нельзя напрямую подключить к виртуальной машине. Основной причиной, почему я хотел создать VLAN-подобный раздел для резервного копирования, была именно эта необходимость. Но это не сработало. Чтобы решить проблему, мы подняли пару узлов Proxmox в одном кластере с ZFS и Gluster поверх, и подвязали кластер Gluster к хранилищу Proxmox. Резервные копии теперь делаются через отдельное устройство IB на отдельном хранилище. Всё отлично заработало. Отправлено с моего SM-N910W8 через Tapatalk
19.07.2015 03:00:00, wahmed.

Партиция Infiniband в Proxmox

Sun, 19 Jul 2015 01:11:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если я правильно понял, мы не можем использовать Infiniband для виртуальных машин (гостей)? Я успешно настроил Ceph, и он нормально работает через Infiniband-адаптер (ib0). У меня есть еще один Infiniband-коммутатор, который я хотел бы использовать для ВМ, чтобы отправлять резервные копии на выделенные серверы. Но, как отметил symmcom, невозможно создать мост с ib0. Значит, даже если я поставлю отдельный Infiniband-адаптер (ib1), я не смогу использовать его с ВМ на другом коммутаторе?
19.07.2015 01:11:00, impire.

Партиция Infiniband в Proxmox

Thu, 14 May 2015 14:16:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пару лет назад я уже изучал этот вопрос и пришёл к выводу, что это невозможно. Единственный способ «запихнуть» IB в гостевую систему, о котором я могу подумать, — это напрямую передать IB-карту гостю, но это мало подходит как решение. Может, что-то вроде этого помогло бы решить проблему: http://vde.sourceforge.net/ KVM -> VDE поверх IPoIB? Я поискал и не нашёл ничего про использование VDE поверх Infiniband. Или, может, использование EoIB (Ethernet поверх IB) вместо IPoIB открыло бы новые возможности? http://www.mellanox.com/related-docs/prod_gateway_systems/EoIB_README-1.5.1-1.3.6.txt
14.05.2015 14:16:00, e100.

Партиция Infiniband в Proxmox

Mon, 27 Apr 2015 22:27:00 +0300

Партиция Infiniband в Proxmox Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Есть тут кто-то из пользователей Infiniband, кто успешно настроил Partition на ib_ipoib?
27.04.2015 22:27:00, wahmed.