Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Партиция Infiniband в Proxmox

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Партиция Infiniband в Proxmox, Proxmox Виртуальная Среда
     
    wahmed
    Guest
    #1
    0
    27.04.2015 22:27:00
    Есть тут кто-то из пользователей Infiniband, кто успешно настроил Partition на ib_ipoib?
     
     
     
    e100
    Guest
    #2
    0
    14.05.2015 14:16:00
    Пару лет назад я уже изучал этот вопрос и пришёл к выводу, что это невозможно. Единственный способ «запихнуть» IB в гостевую систему, о котором я могу подумать, — это напрямую передать IB-карту гостю, но это мало подходит как решение. Может, что-то вроде этого помогло бы решить проблему: http://vde.sourceforge.net/ KVM -> VDE поверх IPoIB? Я поискал и не нашёл ничего про использование VDE поверх Infiniband. Или, может, использование EoIB (Ethernet поверх IB) вместо IPoIB открыло бы новые возможности? http://www.mellanox.com/related-docs/prod_gateway_systems/EoIB_README-1.5.1-1.3.6.txt
     
     
     
    impire
    Guest
    #3
    0
    19.07.2015 01:11:00
    Если я правильно понял, мы не можем использовать Infiniband для виртуальных машин (гостей)? Я успешно настроил Ceph, и он нормально работает через Infiniband-адаптер (ib0). У меня есть еще один Infiniband-коммутатор, который я хотел бы использовать для ВМ, чтобы отправлять резервные копии на выделенные серверы. Но, как отметил symmcom, невозможно создать мост с ib0. Значит, даже если я поставлю отдельный Infiniband-адаптер (ib1), я не смогу использовать его с ВМ на другом коммутаторе?
     
     
     
    wahmed
    Guest
    #4
    0
    19.07.2015 03:00:00
    Верно. Infiniband просто нельзя напрямую подключить к виртуальной машине. Основной причиной, почему я хотел создать VLAN-подобный раздел для резервного копирования, была именно эта необходимость. Но это не сработало. Чтобы решить проблему, мы подняли пару узлов Proxmox в одном кластере с ZFS и Gluster поверх, и подвязали кластер Gluster к хранилищу Proxmox. Резервные копии теперь делаются через отдельное устройство IB на отдельном хранилище. Всё отлично заработало. Отправлено с моего SM-N910W8 через Tapatalk
     
     
     
    impire
    Guest
    #5
    0
    19.07.2015 09:03:00
    Большое спасибо! Это очень помогает. Не могли бы вы подробно объяснить, как настроить узлы Proxmox в одном кластере с ZFS и Gluster сверху, а затем подключить этот кластер к хранилищу Proxmox?
     
     
     
    wahmed
    Guest
    #6
    0
    20.07.2015 22:20:00
    Здесь никаких хитростей нет. Просто следовал вики Proxmox для настройки узла Proxmox с ZFS и Gluster. Ниже упрощённые шаги:

    1. Настройте 2 узла с одинаковым количеством HDD. Я использовал один SSD для ОС и четыре 4 ТБ SATA на каждом узле.  
    2. Установите Proxmox на оба узла.  
    3. Создайте ZFS-пул на каждом узле с помощью команды:  
    #zpool create -f -o ashift=12 <pool_name> /dev/sdb /dev/sdc /dev/sdd /dev/sde  
    4. Смонтируйте ZFS-пул следующими командами:  
    #zfs set mountpoint=/mnt/zfspool <pool_name>  
    #zfs mount -a  
    5. Установите gluster, используя эту документацию: http://www.gluster.org/community/documentation/index.php/Getting_started_install  
    6. Выполните следующие команды на каждом узле, чтобы добавить их в кластер gluster:  
    На узле 1:  
    #gluster peer probe <node2_IP>  
    На узле 2:  
    #gluster peer probe <node1_IP>  
    7. На узле 1 создайте том Gluster командой:  
    #gluster volume create <name> replica 2 transport tcp <node1_IP>:/mnt/zfspool/<name> <node2_IP>:/mnt/zfspool/<name>  
    8. Запустите том Gluster:  
    #gluster volume start <name>  
    9. Установите авторизацию тома Gluster для конкретной подсети:  
    #gluster volume set <name> auth.allow 127.0.0.1,<pmx.cluster.subnet.*>  
    10. Подключите хранилище gluster к Proxmox через GUI с помощью плагина gluster storage.
     
     
     
    impire
    Guest
    #7
    0
    20.07.2015 23:10:00
    Большое спасибо. 1) Я правильно понимаю, что эти два узла подключены к разным коммутаторам Infiniband? 2) Эти два узла входят в отдельный кластер Proxmox? Вы устанавливаете на них Ceph? 3) Поскольку они подключены к разным коммутаторам Infiniband, как этот кластер связывается с другим кластером Ceph или кластером Proxmox для резервного копирования виртуальных машин? Заранее благодарю за помощь.
     
     
     
    wahmed
    Guest
    #8
    0
    21.07.2015 00:05:00
    Вы можете настроить как отдельный коммутатор на отдельных IB-интерфейсных картах, так и использовать существующую сеть IB для Ceph, если она у вас есть. Если вы используете IB с пропускной способностью 10+ Гбит/с, резервное копирование не будет занимать всю пропускную способность, так как есть ограничение по скорости записи на HDD. У нас есть оба варианта настройки, и разница в производительности не особо заметна. Если вы не собираетесь использовать общий IB-коммутатор, тогда нужно будет установить дополнительные IB-карты во все узлы кластера, которые подключатся через отдельный коммутатор. При этом узлы вовсе не обязаны быть отдельным кластером. Им также не нужно устанавливать Ceph, так как их единственная задача — раздавать Gluster на ZFS для резервного хранилища. Эти узлы могут входить в существующий кластер Proxmox, так вы сможете отслеживать их через тот же графический интерфейс. В таком случае у узлов будет один интерфейс (Gigabit) для связи с кластером Proxmox, а IB-интерфейс будет использоваться для резервного копирования. Для этого в каждый узел устанавливаются отдельные IB-карты. Предположим, что в вашей текущей среде каждый узел имеет одну гигабитную сетевую карту для связи с кластером Proxmox и одну IB-карту для сети Ceph. Для сети резервного копирования вы добавляете ещё одну IB-карту в каждый узел и настраиваете её на отдельную подсеть. По сути, вы создаёте новую сеть для бэкапов. Надеюсь, всё понятно и я не усложнил вам задачу.
     
     
     
    wahmed
    Guest
    #9
    0
    14.05.2015 05:14:00
    Похоже, я порадовался слишком рано. Хотя разделы IB между узлами работают отлично, создать виртуальный мост с этими дополнительными портами IB, разделёнными по разделам, у меня не получается. Я пробовал Open vSwitch, но и это не дало результатов. Пока что, судя по гуглению, ситуация неприятная. Возможно, вообще нет способа создать виртуальный мост с IB. Кто-нибудь знает, можно ли вообще создавать мост с IB-портами или это вообще не вариант? Как лучше всего подключить IB к виртуальной машине?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры