http://proxmox.su Новое в теме Мультипуть iSCSI, LVM и Кластер форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 31 Oct 2026 14:23:20 +0300 Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! У меня проблема другого рода, но связанная с хранилищем EMC Clariion cx4-240, может, кто-то поможет. Это касается live migration (ключевые слова: iscsi lvm, shared storage, lvm ha cluster — поэтому я сюда и пришёл). Мы сделали 3-узловой кластер, узлы подключены по iscsi к EMC Clariion cx4-240. Хранилище настроили вручную из CLI: создали pv и vg на одном узле, а потом через GUI Proxmox создали VM и lvm. Нам удалось создать мультипут устройство, но всегда был активен только один канал. В итоге вручную получили статус Active/Active для мультипута командой: multipath -r -p multibus. Если у вас есть такие проблемы — вот решение. На самом деле проблема была в черном списке из-за одной ошибочной буквы в wwid. Это нас сводило с ума. Для failover мы используем простые скрипты (проверка с помощью ping и активация fencing при сбое), где отработали все возможные варианты сбоев (iscsi, хранилище, сеть, интерфейс). Выбрали скрипты, потому что в некоторых случаях проще было написать скрипт, например, при отключении питания узла или сбое iscsi-интерфейса. И вот по делу: у нас проблема с live migration, которая у вас работает. Можете поделиться, как удалось её запустить, в чём подвох? Вот ошибка, которую получаем:  
Executing HA migrate for VM 104 to node proxmox1  
Trying to migrate pvevm:104 to proxmox1...  
Failure  
TASK ERROR: command 'clusvcadm -M pvevm:104 -m proxmox1' failed: exit code 255  
Спасибо за помощь.
04.09.2013 19:14:00, dernikov1.]]> http://proxmox.su/forum/messages/forum63/message360724/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360724/81811-multiput-iscsi_-lvm-i-klaster Wed, 04 Sep 2013 19:14:00 +0400 Proxmox Виртуальная Среда Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Филстер, спасибо, что поделился.
16.04.2013 17:00:00, sunstar.]]> http://proxmox.su/forum/messages/forum63/message360723/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360723/81811-multiput-iscsi_-lvm-i-klaster Tue, 16 Apr 2013 17:00:00 +0400 Proxmox Виртуальная Среда Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Оказалось, что мои предположения выше (1-7) были верными. Я опубликую свои более подробные заметки, но они на немецком. Могу сказать, что iSCSI multipath в кластере Proxmox работает очень хорошо, по крайней мере с нашей системой хранения — HP EVA.

Создание iSCSI/LVM-хранилища (Multipath)

Установить Multipath Tools:  
aptitude install multipath-tools

В файле /etc/iscsi/iscsi.conf изменить следующие параметры:  
Код:  
node.startup = automatic  
node.session.timeo.replacement_timeout = 15

Искать iSCSI Target по LUN и подключать LUN командой:  
iscsiadm --mode discovery --type sendtargets --login --portal 10.0.XXX.XXX  
или  
iscsiadm -m discovery -t st -l -p 10.0.XXX.XXX

В EVA Command View создать нового хоста (Add Host → iSCSI, имя iSCSI Node хоста можно узнать в /etc/iscsi/initiatorname.iscsi).  
Разрешить Vdisks новому хосту (present).  
Повторить команду iscsiadm из предыдущего шага.  
Перезагрузить ноду Proxmox (TODO: найти альтернативу этому).  

Проверить новые устройства:  
multipath -v3 — в списке путей будет видно wwid (uuid) новых устройств. Несколько новых устройств — это одна и та же LUN (узнается по одинаковому wwid), отсюда и multipath.  

Добавить новую LUN в конфигурацию Multipath (/etc/multipath.conf):  
Код:  
defaults {  
   polling_interval        2  
   selector                "round-robin 0"  
   path_grouping_policy    multibus  
   getuid_callout          "/lib/udev/scsi_id -g -u -d /dev/%n"  
   rr_min_io               100  
   failback                immediate  
   no_path_retry           queue  
}

blacklist {  
   wwid *  
}

blacklist_exceptions {  
   wwid "XXXXXXXXXXXXXXXXXXXXXXXXXXXXX"  
   wwid "wwid-новой-lun"  
}

multipaths {  
 multipath {  
   wwid "XXXXXXXXXXXXXXXXXXXXXXXXXXXXX"  
   alias vdisk001  
 }  
 multipath {  
   wwid "wwid-новой-lun"  
   alias vdisk002  
 }  
}

Перезапустить сервис Multipath:  
service multipath-tools reload  
service multipath-tools restart

Проверить статус Multipath:  
multipath -ll — вывод должен выглядеть примерно так (может занять время, возможно, придется перезапустить сервис):  
Код:  
vdisk001 (XXXXXXXXXXXXXXXXXXXXXXXXXXXXX) dm-3 HP,HSV340  
size=2.0T features='1 queue_if_no_path' hwhandler='0' wp=rw  
`-+- policy='round-robin 0' prio=8 status=active  
 |- 3:0:0:1  sdc 8:32  active ready  running  
 |- 1:0:0:1  sdb 8:16  active ready  running  
 |- 2:0:0:1  sdd 8:48  active ready  running  
 |- 4:0:0:1  sde 8:64  active ready  running  
 |- 12:0:0:1 sdf 8:80  active ready  running  
 |- 15:0:0:1 sdg 8:96  active ready  running  
 |- 11:0:0:1 sdh 8:112 active ready  running  
 `- 16:0:0:1 sdi 8:128 active ready  running

Создать физический том (PV) и группу томов (VG) на multipath-устройстве (в данном случае /dev/dm-3) (делать нужно только один раз, на одной из нод кластера!):  
Создать PV:  
pvcreate /dev/dm-3  
Создать VG:  
vgcreate san1-vdisk001 /dev/dm-3

Добавить LVM-группу через GUI Proxmox (делать нужно только один раз, на одной из нод кластера!):  
Datacenter >> Storage >> Add >> LVM group  
В Base Storage выбрать Existing volume groups  
В Volume group выбрать ранее созданную через командную строку VG  
Включить Enable и Shared >> Add
15.04.2013 11:49:00, philister.]]> http://proxmox.su/forum/messages/forum63/message360722/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360722/81811-multiput-iscsi_-lvm-i-klaster Mon, 15 Apr 2013 11:49:00 +0400 Proxmox Виртуальная Среда Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
http://pve.proxmox.com/wiki/ISCSI_Multipath Я сделал всю настройку iSCSI и LVM через графический интерфейс (после того, как команда Proxmox показала мне, как). Нужно установить всё и создать конфигурационные файлы на каждом узле кластера — я сделал это, ограничив iSCSI и LVM только тем сервером, который настроил.
15.04.2013 11:03:00, hotwired007.]]> http://proxmox.su/forum/messages/forum63/message360721/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360721/81811-multiput-iscsi_-lvm-i-klaster Mon, 15 Apr 2013 11:03:00 +0400 Proxmox Виртуальная Среда Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, philister!  
Мы столкнулись с тем же вопросом, что и ты, и нигде в интернете не смогли найти ответ. Можно спросить, получил ли ты какой-нибудь ответ на вышеуказанные вопросы или успешно настроил эту конфигурацию?  
Мы используем Dell Powervault MD3620i SAN и смогли успешно подключить multipath iSCSI-таргет к одному узлу Proxmox. Однако мы не уверены, как настроить это в кластерной конфигурации.  
Надеемся, ты поделишься своим опытом и знаниями по этому поводу. Спасибо!
14.04.2013 14:50:00, sunstar.]]> http://proxmox.su/forum/messages/forum63/message360720/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360720/81811-multiput-iscsi_-lvm-i-klaster Sun, 14 Apr 2013 14:50:00 +0400 Proxmox Виртуальная Среда Мультипуть iSCSI, LVM и Кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Мы уже пару месяцев играемся с Proxmox (с версии 2.0) и очень любим его за простоту и отличный опыт «из коробки». Но сейчас, кажется, мы дошли до момента, когда то, что нам нужно, не реализовать через GUI. А нам это надо уладить до переезда в дата-центр. Поскольку нам нужна и живая миграция, и онлайн-бэкап, мы выбрали LVM на общем iSCSI-хранилище. Это легко сделать с помощью простого iSCSI-таргета, который я настроил на Debian для тестов. В дата-центре же у нас будет HP EVA P6000 SAN-массив с мультипутом. Сейчас у меня этот массив в лаборатории, и я пытаюсь заставить его работать с моим кластером Proxmox. Я следовал туториалу http://pve.proxmox.com/wiki/ISCSI_Multipath, но у меня остались вопросы:

Верны ли следующие предположения?  
- Шаги из туториала (установка и настройка multipath-tools, обнаружение и логин iSCSI) нужно делать на каждом узле кластера.  
- Физический том LVM и томовая группа создаются только через CLI, этого нельзя сделать через GUI.  
- PV и VG создаются на мультипут-устройстве, которое представляет собой несколько «обычных» устройств (например, /dev/dm-3).  
- Шаг 3 нужно выполнить только один раз, на одном узле кластера.  
- Затем в GUI я могу создать LVM-группу, выбрав в поле базового хранилища «existing volume groups» и указав ранее созданный VG.  
- При использовании мультипут iSCSI я никогда не добавляю iSCSI-таргет через GUI. iSCSI и LVM настраиваю через CLI, а затем добавляю существующую LVM-группу через GUI.  
- Шаг 1 нужно повторять для каждого узла, добавляемого в кластер.

Большое спасибо за подтверждения и/или поправки. С уважением,
20.11.2012 11:35:00, philister.]]> http://proxmox.su/forum/messages/forum63/message360719/81811-multiput-iscsi_-lvm-i-klaster http://proxmox.su/forum/messages/forum63/message360719/81811-multiput-iscsi_-lvm-i-klaster Tue, 20 Nov 2012 11:35:00 +0400 Proxmox Виртуальная Среда