Всем привет, я тестирую настройку iSCSI с мультипутевым доступом на кластере Proxmox из 3 узлов. Моя настройка выглядит следующим образом: 1x Debian с tgt, 4x NIC (2xLUNS) Код: <target iqn.2020-03.pvelab.srv:tar01>
backing-store /dev/sdb
backing-store /dev/sdc
initiator-address 192.168.132.0/24
</target> 3x PVE 6.1 с настроенным мультипутевым доступом 1. /etc/iscsi/iscsid.conf Код: node.startup = automatic
node.session.timeo.replacement_timeout = 15 1. Настроены все 4 интерфейса через графический интерфейс
Код: 2. multipath.conf
defaults {
polling_interval 2
path_selector "round-robin 0"
path_grouping_policy multibus
uid_attribute ID_SERIAL
rr_min_io 100
failback immediate
no_path_retry queue
user_friendly_names yes
find_multipaths no
}
blacklist {
wwid .*
}
blacklist_exceptions {
wwid "360000000000000000e00000000010001"
wwid "360000000000000000e00000000010002"
}
multipaths {
multipath {
wwid "360000000000000000e00000000010001"
alias LUN-DISK-01-1500GB
}
multipath {
wwid "360000000000000000e00000000010002"
alias LUN-DISK-02-2000GB
}
} 3. После настройки я могу видеть устройства мультипутевого доступа, когда запускаю multipath -ll [/CODE] root@node-01:~# multipath -ll LUN-DISK-02-2000GB (360000000000000000e00000000010002) dm-6 IET,VIRTUAL-DISK размер=2.0T функции='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 статус=active |- 34:0:0:2 sdf 8:80 active ready running |- 36:0:0:2 sdg 8:96 active ready running |- 33:0:0:2 sdc 8:32 active ready running `- 35:0:0:2 sdi 8:128 active ready running LUN-DISK-01-1500GB (360000000000000000e00000000010001) dm-7 IET,VIRTUAL-DISK размер=1.5T функции='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 статус=active |- 36:0:0:1 sde 8:64 active ready running |- 34:0:0:1 sdd 8:48 active ready running |- 33:0:0:1 sdb 8:16 active ready running `- 35:0:0:1 sdh 8:112 active ready running [/CODE] 4. Вывод lsscsi Код: lsscsi
[2:0:0:0] диск VMware Виртуальный диск 2.0 /dev/sda
[3:0:0:0] cd/dvd NECVMWar VMware SATA CD00 1.00 /dev/sr0
[33:0:0:0] хранилище IET Контроллер 0001 -
[33:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdb
[33:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdc
[34:0:0:0] хранилище IET Контроллер 0001 -
[34:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdd
[34:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdf
[35:0:0:0] хранилище IET Контроллер 0001 -
[35:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdh
[35:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdi
[36:0:0:0] хранилище IET Контроллер 0001 -
[36:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sde
[36:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdg 5. Создание PV и VG на устройствах мультипутевого доступа Код: root@node-01:~# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/LUN-DISK-01-1500GB LUN-DISK-01-1500GB lvm2 a-- <1.50t <1.50t
/dev/mapper/LUN-DISK-02-2000GB LUN-DISK-02-2000GB lvm2 a-- <2.00t <2.00t
/dev/sda3 pve lvm2 a-- <199.50g 15.99g Код: root@node-01:~# vgs
VG #PV #LV #SN Attr VSize VFree
LUN-DISK-01-1500GB 1 0 0 wz--n- <1.50t <1.50t
LUN-DISK-02-2000GB 1 0 0 wz--n- <2.00t <2.00t
pve 1 3 0 wz--n- <199.50g 15.99g 6. Затем я создаю LVM через графический интерфейс поверх этих VG
7. После этого я могу получить доступ к обоим LUN через мультипутевой доступ, и всё работает отлично. ------------------------ Затем во время теста я полностью отключил все узлы PVE и хранилище, чтобы воспроизвести ситуацию отключения питания. Затем я снова запустил все хосты, и после запуска я не могу использовать созданное хранилище LVM. И я не вижу блоковые устройства iSCSI тоже. 1. Вывод multipath -v3 Код: root@node-01:~# multipath -v3
Apr 01 14:06:04 | ограничение количества открытых файлов установлено на 1048576/1048576
Apr 01 14:06:04 | загружается //lib/multipath/libchecktur.so проверка
Apr 01 14:06:04 | проверка tur: размер таблицы сообщений = 3
Apr 01 14:06:04 | загружается //lib/multipath/libprioconst.so приоритизатор
Apr 01 14:06:04 | иностранная библиотека "nvme" успешно загружена
Apr 01 14:06:04 | sr0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | sda: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop1: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop2: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop3: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop4: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop5: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop6: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop7: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-1: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-2: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-3: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-4: в черном списке, отсутствует свойство udev
Apr 01 14:06:05 | dm-5: в черном списке, отсутствует свойство udev
===== нет путей =====
Apr 01 14:06:05 | версия libdevmapper 1.02.155 (2018-12-18)
Apr 01 14:06:05 | DM multipath ядровой драйвер v1.13.0
Apr 01 14:06:05 | выгрузка приоритетного приоритизатора
Apr 01 14:06:05 | выгрузка проверщика tur 2. Вывод multipath -ll пуст 3. Вывод lsscsi Код: root@node-01:~# lsscsi
[2:0:0:0] диск VMware Виртуальный диск 2.0 /dev/sda
[3:0:0:0] cd/dvd NECVMWar VMware SATA CD00 1.00 /dev/sr0
[33:0:0:0] хранилище IET Контроллер 0001 -
[34:0:0:0] хранилище IET Контроллер 0001 -
[35:0:0:0] хранилище IET Контроллер 0001 -
[36:0:0:0] хранилище IET Контроллер 0001 - 4 iscsiadm -m session Код: iscsiadm -m session
tcp: [5] 192.168.132.22:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [6] 192.168.132.21:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [7] 192.168.132.6:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [8] 192.168.132.20:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash) Что вызывает эту проблему? И я заметил, что если я не создаю LVM на мультипутевом устройстве и делаю жесткое отключение, никаких проблем не возникает. Это из-за того, что я создал PV и VG на стороне Proxmox? Обновление ----------------------------------------------- Когда я запускаю команды "pvs" и "vgs" на узле хранилища, я вижу физический том и группу томов, созданные узлом PVE. Я удалил все LV, VG и стер PV с узла хранения, используя (vgremove и pvremove). Затем снова создал PV и VG из самого узла хранения. И перезагрузил tgt. (конфигурацию цели не менял) я вижу, что мультипуть сразу же активируется на стороне PVE, и я также вижу PV и VG на стороне PVE. Так означает ли это, что мне нужно сначала создавать PV и VG на стороне хранения и выставлять как LUN?
backing-store /dev/sdb
backing-store /dev/sdc
initiator-address 192.168.132.0/24
</target> 3x PVE 6.1 с настроенным мультипутевым доступом 1. /etc/iscsi/iscsid.conf Код: node.startup = automatic
node.session.timeo.replacement_timeout = 15 1. Настроены все 4 интерфейса через графический интерфейс
Код: 2. multipath.confdefaults {
polling_interval 2
path_selector "round-robin 0"
path_grouping_policy multibus
uid_attribute ID_SERIAL
rr_min_io 100
failback immediate
no_path_retry queue
user_friendly_names yes
find_multipaths no
}
blacklist {
wwid .*
}
blacklist_exceptions {
wwid "360000000000000000e00000000010001"
wwid "360000000000000000e00000000010002"
}
multipaths {
multipath {
wwid "360000000000000000e00000000010001"
alias LUN-DISK-01-1500GB
}
multipath {
wwid "360000000000000000e00000000010002"
alias LUN-DISK-02-2000GB
}
} 3. После настройки я могу видеть устройства мультипутевого доступа, когда запускаю multipath -ll [/CODE] root@node-01:~# multipath -ll LUN-DISK-02-2000GB (360000000000000000e00000000010002) dm-6 IET,VIRTUAL-DISK размер=2.0T функции='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 статус=active |- 34:0:0:2 sdf 8:80 active ready running |- 36:0:0:2 sdg 8:96 active ready running |- 33:0:0:2 sdc 8:32 active ready running `- 35:0:0:2 sdi 8:128 active ready running LUN-DISK-01-1500GB (360000000000000000e00000000010001) dm-7 IET,VIRTUAL-DISK размер=1.5T функции='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 статус=active |- 36:0:0:1 sde 8:64 active ready running |- 34:0:0:1 sdd 8:48 active ready running |- 33:0:0:1 sdb 8:16 active ready running `- 35:0:0:1 sdh 8:112 active ready running [/CODE] 4. Вывод lsscsi Код: lsscsi
[2:0:0:0] диск VMware Виртуальный диск 2.0 /dev/sda
[3:0:0:0] cd/dvd NECVMWar VMware SATA CD00 1.00 /dev/sr0
[33:0:0:0] хранилище IET Контроллер 0001 -
[33:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdb
[33:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdc
[34:0:0:0] хранилище IET Контроллер 0001 -
[34:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdd
[34:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdf
[35:0:0:0] хранилище IET Контроллер 0001 -
[35:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdh
[35:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdi
[36:0:0:0] хранилище IET Контроллер 0001 -
[36:0:0:1] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sde
[36:0:0:2] диск IET ВИРТУАЛЬНЫЙ-ДИСК 0001 /dev/sdg 5. Создание PV и VG на устройствах мультипутевого доступа Код: root@node-01:~# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/LUN-DISK-01-1500GB LUN-DISK-01-1500GB lvm2 a-- <1.50t <1.50t
/dev/mapper/LUN-DISK-02-2000GB LUN-DISK-02-2000GB lvm2 a-- <2.00t <2.00t
/dev/sda3 pve lvm2 a-- <199.50g 15.99g Код: root@node-01:~# vgs
VG #PV #LV #SN Attr VSize VFree
LUN-DISK-01-1500GB 1 0 0 wz--n- <1.50t <1.50t
LUN-DISK-02-2000GB 1 0 0 wz--n- <2.00t <2.00t
pve 1 3 0 wz--n- <199.50g 15.99g 6. Затем я создаю LVM через графический интерфейс поверх этих VG
7. После этого я могу получить доступ к обоим LUN через мультипутевой доступ, и всё работает отлично. ------------------------ Затем во время теста я полностью отключил все узлы PVE и хранилище, чтобы воспроизвести ситуацию отключения питания. Затем я снова запустил все хосты, и после запуска я не могу использовать созданное хранилище LVM. И я не вижу блоковые устройства iSCSI тоже. 1. Вывод multipath -v3 Код: root@node-01:~# multipath -v3Apr 01 14:06:04 | ограничение количества открытых файлов установлено на 1048576/1048576
Apr 01 14:06:04 | загружается //lib/multipath/libchecktur.so проверка
Apr 01 14:06:04 | проверка tur: размер таблицы сообщений = 3
Apr 01 14:06:04 | загружается //lib/multipath/libprioconst.so приоритизатор
Apr 01 14:06:04 | иностранная библиотека "nvme" успешно загружена
Apr 01 14:06:04 | sr0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | sda: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop1: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop2: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop3: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop4: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop5: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop6: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | loop7: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-0: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-1: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-2: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-3: в черном списке, отсутствует свойство udev
Apr 01 14:06:04 | dm-4: в черном списке, отсутствует свойство udev
Apr 01 14:06:05 | dm-5: в черном списке, отсутствует свойство udev
===== нет путей =====
Apr 01 14:06:05 | версия libdevmapper 1.02.155 (2018-12-18)
Apr 01 14:06:05 | DM multipath ядровой драйвер v1.13.0
Apr 01 14:06:05 | выгрузка приоритетного приоритизатора
Apr 01 14:06:05 | выгрузка проверщика tur 2. Вывод multipath -ll пуст 3. Вывод lsscsi Код: root@node-01:~# lsscsi
[2:0:0:0] диск VMware Виртуальный диск 2.0 /dev/sda
[3:0:0:0] cd/dvd NECVMWar VMware SATA CD00 1.00 /dev/sr0
[33:0:0:0] хранилище IET Контроллер 0001 -
[34:0:0:0] хранилище IET Контроллер 0001 -
[35:0:0:0] хранилище IET Контроллер 0001 -
[36:0:0:0] хранилище IET Контроллер 0001 - 4 iscsiadm -m session Код: iscsiadm -m session
tcp: [5] 192.168.132.22:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [6] 192.168.132.21:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [7] 192.168.132.6:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash)
tcp: [8] 192.168.132.20:3260,1 iqn.2020-03.pvelab.srv:tar01 (non-flash) Что вызывает эту проблему? И я заметил, что если я не создаю LVM на мультипутевом устройстве и делаю жесткое отключение, никаких проблем не возникает. Это из-за того, что я создал PV и VG на стороне Proxmox? Обновление ----------------------------------------------- Когда я запускаю команды "pvs" и "vgs" на узле хранилища, я вижу физический том и группу томов, созданные узлом PVE. Я удалил все LV, VG и стер PV с узла хранения, используя (vgremove и pvremove). Затем снова создал PV и VG из самого узла хранения. И перезагрузил tgt. (конфигурацию цели не менял) я вижу, что мультипуть сразу же активируется на стороне PVE, и я также вижу PV и VG на стороне PVE. Так означает ли это, что мне нужно сначала создавать PV и VG на стороне хранения и выставлять как LUN?
