Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Мультипуть iSCSI, LVM и Кластер

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Мультипуть iSCSI, LVM и Кластер, Proxmox Виртуальная Среда
     
    philister
    Guest
    #1
    0
    20.11.2012 11:35:00
    Всем привет! Мы уже пару месяцев играемся с Proxmox (с версии 2.0) и очень любим его за простоту и отличный опыт «из коробки». Но сейчас, кажется, мы дошли до момента, когда то, что нам нужно, не реализовать через GUI. А нам это надо уладить до переезда в дата-центр. Поскольку нам нужна и живая миграция, и онлайн-бэкап, мы выбрали LVM на общем iSCSI-хранилище. Это легко сделать с помощью простого iSCSI-таргета, который я настроил на Debian для тестов. В дата-центре же у нас будет HP EVA P6000 SAN-массив с мультипутом. Сейчас у меня этот массив в лаборатории, и я пытаюсь заставить его работать с моим кластером Proxmox. Я следовал туториалу http://pve.proxmox.com/wiki/ISCSI_Multipath, но у меня остались вопросы:

    Верны ли следующие предположения?  
    - Шаги из туториала (установка и настройка multipath-tools, обнаружение и логин iSCSI) нужно делать на каждом узле кластера.  
    - Физический том LVM и томовая группа создаются только через CLI, этого нельзя сделать через GUI.  
    - PV и VG создаются на мультипут-устройстве, которое представляет собой несколько «обычных» устройств (например, /dev/dm-3).  
    - Шаг 3 нужно выполнить только один раз, на одном узле кластера.  
    - Затем в GUI я могу создать LVM-группу, выбрав в поле базового хранилища «existing volume groups» и указав ранее созданный VG.  
    - При использовании мультипут iSCSI я никогда не добавляю iSCSI-таргет через GUI. iSCSI и LVM настраиваю через CLI, а затем добавляю существующую LVM-группу через GUI.  
    - Шаг 1 нужно повторять для каждого узла, добавляемого в кластер.

    Большое спасибо за подтверждения и/или поправки. С уважением,
     
     
     
    sunstar
    Guest
    #2
    0
    14.04.2013 14:50:00
    Привет, philister!  
    Мы столкнулись с тем же вопросом, что и ты, и нигде в интернете не смогли найти ответ. Можно спросить, получил ли ты какой-нибудь ответ на вышеуказанные вопросы или успешно настроил эту конфигурацию?  
    Мы используем Dell Powervault MD3620i SAN и смогли успешно подключить multipath iSCSI-таргет к одному узлу Proxmox. Однако мы не уверены, как настроить это в кластерной конфигурации.  
    Надеемся, ты поделишься своим опытом и знаниями по этому поводу. Спасибо!
     
     
     
    hotwired007
    Guest
    #3
    0
    15.04.2013 11:03:00
    http://pve.proxmox.com/wiki/ISCSI_Multipath Я сделал всю настройку iSCSI и LVM через графический интерфейс (после того, как команда Proxmox показала мне, как). Нужно установить всё и создать конфигурационные файлы на каждом узле кластера — я сделал это, ограничив iSCSI и LVM только тем сервером, который настроил.
     
     
     
    philister
    Guest
    #4
    0
    15.04.2013 11:49:00
    Оказалось, что мои предположения выше (1-7) были верными. Я опубликую свои более подробные заметки, но они на немецком. Могу сказать, что iSCSI multipath в кластере Proxmox работает очень хорошо, по крайней мере с нашей системой хранения — HP EVA.

    Создание iSCSI/LVM-хранилища (Multipath)

    Установить Multipath Tools:  
    aptitude install multipath-tools

    В файле /etc/iscsi/iscsi.conf изменить следующие параметры:  
    Код:  
    node.startup = automatic  
    node.session.timeo.replacement_timeout = 15

    Искать iSCSI Target по LUN и подключать LUN командой:  
    iscsiadm --mode discovery --type sendtargets --login --portal 10.0.XXX.XXX  
    или  
    iscsiadm -m discovery -t st -l -p 10.0.XXX.XXX

    В EVA Command View создать нового хоста (Add Host → iSCSI, имя iSCSI Node хоста можно узнать в /etc/iscsi/initiatorname.iscsi).  
    Разрешить Vdisks новому хосту (present).  
    Повторить команду iscsiadm из предыдущего шага.  
    Перезагрузить ноду Proxmox (TODO: найти альтернативу этому).  

    Проверить новые устройства:  
    multipath -v3 — в списке путей будет видно wwid (uuid) новых устройств. Несколько новых устройств — это одна и та же LUN (узнается по одинаковому wwid), отсюда и multipath.  

    Добавить новую LUN в конфигурацию Multipath (/etc/multipath.conf):  
    Код:  
    defaults {  
       polling_interval        2  
       selector                "round-robin 0"  
       path_grouping_policy    multibus  
       getuid_callout          "/lib/udev/scsi_id -g -u -d /dev/%n"  
       rr_min_io               100  
       failback                immediate  
       no_path_retry           queue  
    }

    blacklist {  
       wwid *  
    }

    blacklist_exceptions {  
       wwid "XXXXXXXXXXXXXXXXXXXXXXXXXXXXX"  
       wwid "wwid-новой-lun"  
    }

    multipaths {  
     multipath {  
       wwid "XXXXXXXXXXXXXXXXXXXXXXXXXXXXX"  
       alias vdisk001  
     }  
     multipath {  
       wwid "wwid-новой-lun"  
       alias vdisk002  
     }  
    }

    Перезапустить сервис Multipath:  
    service multipath-tools reload  
    service multipath-tools restart

    Проверить статус Multipath:  
    multipath -ll — вывод должен выглядеть примерно так (может занять время, возможно, придется перезапустить сервис):  
    Код:  
    vdisk001 (XXXXXXXXXXXXXXXXXXXXXXXXXXXXX) dm-3 HP,HSV340  
    size=2.0T features='1 queue_if_no_path' hwhandler='0' wp=rw  
    `-+- policy='round-robin 0' prio=8 status=active  
     |- 3:0:0:1  sdc 8:32  active ready  running  
     |- 1:0:0:1  sdb 8:16  active ready  running  
     |- 2:0:0:1  sdd 8:48  active ready  running  
     |- 4:0:0:1  sde 8:64  active ready  running  
     |- 12:0:0:1 sdf 8:80  active ready  running  
     |- 15:0:0:1 sdg 8:96  active ready  running  
     |- 11:0:0:1 sdh 8:112 active ready  running  
     `- 16:0:0:1 sdi 8:128 active ready  running

    Создать физический том (PV) и группу томов (VG) на multipath-устройстве (в данном случае /dev/dm-3) (делать нужно только один раз, на одной из нод кластера!):  
    Создать PV:  
    pvcreate /dev/dm-3  
    Создать VG:  
    vgcreate san1-vdisk001 /dev/dm-3

    Добавить LVM-группу через GUI Proxmox (делать нужно только один раз, на одной из нод кластера!):  
    Datacenter >> Storage >> Add >> LVM group  
    В Base Storage выбрать Existing volume groups  
    В Volume group выбрать ранее созданную через командную строку VG  
    Включить Enable и Shared >> Add
     
     
     
    sunstar
    Guest
    #5
    0
    16.04.2013 17:00:00
    Филстер, спасибо, что поделился.
     
     
     
    dernikov1
    Guest
    #6
    0
    04.09.2013 19:14:00
    Всем привет! У меня проблема другого рода, но связанная с хранилищем EMC Clariion cx4-240, может, кто-то поможет. Это касается live migration (ключевые слова: iscsi lvm, shared storage, lvm ha cluster — поэтому я сюда и пришёл). Мы сделали 3-узловой кластер, узлы подключены по iscsi к EMC Clariion cx4-240. Хранилище настроили вручную из CLI: создали pv и vg на одном узле, а потом через GUI Proxmox создали VM и lvm. Нам удалось создать мультипут устройство, но всегда был активен только один канал. В итоге вручную получили статус Active/Active для мультипута командой: multipath -r -p multibus. Если у вас есть такие проблемы — вот решение. На самом деле проблема была в черном списке из-за одной ошибочной буквы в wwid. Это нас сводило с ума. Для failover мы используем простые скрипты (проверка с помощью ping и активация fencing при сбое), где отработали все возможные варианты сбоев (iscsi, хранилище, сеть, интерфейс). Выбрали скрипты, потому что в некоторых случаях проще было написать скрипт, например, при отключении питания узла или сбое iscsi-интерфейса. И вот по делу: у нас проблема с live migration, которая у вас работает. Можете поделиться, как удалось её запустить, в чём подвох? Вот ошибка, которую получаем:  
    Executing HA migrate for VM 104 to node proxmox1  
    Trying to migrate pvevm:104 to proxmox1...  
    Failure  
    TASK ERROR: command 'clusvcadm -M pvevm:104 -m proxmox1' failed: exit code 255  
    Спасибо за помощь.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры