Аспро: ЛайтШоп [тема: LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg.]

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg.

Mon, 23 Jun 2025 23:17:00 +0300

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Редактирую: похоже, команда "pvscan --cache" решила проблему без перезагрузки или ручного создания. Остальное можно игнорировать.

В частности, речь идет о создании LVM через графический интерфейс, а не о создании PV/VG на каждом узле с последующей регистрацией в PVE. В обоих случаях, команды `pvs` и `vgs` не отображали новые хранилища на других узлах, хотя `pvscan` и `vgscan` их показывали.

Код:
root@proxmox1:~# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/msa_2050_proxmox_vms_a_pool vg_proxmox_vms_a_pool lvm2 a-- 8.64t 8.64t
/dev/mapper/msa_2050_proxmox_vms_b_pool vg_proxmox_vms_b_pool lvm2 a-- 8.64t 8.64t
/dev/nvme0n1p3 pve lvm2 a-- <446.07g 8.64TiB free
/dev/sda local_storage lvm2 a-- 2.18t 0

root@proxmox1:~# pvscan
PV /dev/mapper/msa_2050_proxmox_vms_b_pool VG vg_proxmox_vms_b_pool lvm2 [8.64 TiB / 8.64 TiB free]
PV /dev/mapper/msa_2050_proxmox_vms_a_pool VG vg_proxmox_vms_a_pool lvm2 [8.64 TiB / 8.64 TiB free]
PV /dev/nvme0n1p3 VG pve lvm2 [<446.07 GiB / 16.00 GiB free]
PV /dev/sda VG local_storage lvm2 [2.18 TiB / 0 free]

Код:
root@proxmox1:~# vgs
VG #PV #LV #SN Attr VSize VFree
local_storage 1 1 0 wz--n- 2.18t 0
pve 1 3 0 wz--n- <446.07g 16.00g
vg_proxmox_vms_a_pool 1 0 0 wz--n- 8.64t 8.64t
vg_proxmox_vms_b_pool 1 0 0 wz--n- 8.64t 8.64t

root@proxmox1:~# vgscan
Found volume group "vg_proxmox_vms_b_pool" using metadata type lvm2
Found volume group "vg_proxmox_vms_a_pool" using metadata type lvm2
Found volume group "pve" using metadata type lvm2
Found volume group "local_storage" using metadata type lvm2

Код:
root@proxmox2:~# pvs
PV VG Fmt Attr PSize PFree
/dev/nvme0n1p3 pve lvm2 a-- <446.07g 16.00g
/dev/sda local_storage lvm2 a-- 2.18t 0

root@proxmox2:~# pvscan
PV /dev/mapper/msa_2050_proxmox_vms_b_pool VG vg_proxmox_vms_b_pool lvm2 [8.64 TiB / 8.64 TiB free]
PV /dev/mapper/msa_2050_proxmox_vms_a_pool VG vg_proxmox_vms_a_pool lvm2 [8.64 TiB / 8.64 TiB free]
PV /dev/nvme0n1p3 VG pve lvm2 [<446.07 GiB / 16.00 GiB free]
PV /dev/sda VG local_storage lvm2 [2.18 TiB / 0 free]

Код:
root@proxmox2:~# vgs
VG #PV #LV #SN Attr VSize VFree
local_storage 1 1 0 wz--n- 2.18t 0
pve 1 3 0 wz--n- <446.07g 16.00g

root@proxmox2:~# vgscan
Found volume group "vg_proxmox_vms_b_pool" using metadata type lvm2
Found volume group "vg_proxmox_vms_a_pool" using metadata type lvm2
Found volume group "pve" using metadata type lvm2
Found volume group "local_storage" using metadata type lvm2
23.06.2025 23:17:00, TC_Tecnet.

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg.

Mon, 23 Jun 2025 22:25:00 +0300

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, @TC_Tecnet, добро пожаловать на форум! Первоначальное (ручное) управление LVM выполняется только с одного узла (любого). LVM-сигнатура записывается на диск и будет видна всем узлам, использующим общий доступ к LUN. В дальнейшем PVE будет плотно координировать управление LVM внутри, чтобы гарантировать, что только один узел за раз выполняет операции с метаданными (создание, удаление и т.д.). Может быть, эта статья окажется полезной: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage Blockbridge : Сверхнизкая задержка все-NVME-хранилища для Proxmox - https://www.blockbridge.com/proxmox
23.06.2025 22:25:00, bbgeek17.

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg.

Mon, 23 Jun 2025 20:58:00 +0300

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем!

Заметил, что другие пользователи отметили эту проблему, но так и не было выяснено, должно ли автоматическое создание PV/VG/LVM на каждом узле происходить при создании общего LVM через iSCSI-хранилище на уровне кластера. Основной узел создает все, и `storage.cfg` синхронизируется, однако на остальных двух узлах кластера PV/VG/LVM не создаются после синхронизации. Это ожидаемое поведение? Возможно, отсутствует какая-то зависимость, учитывая, что кластер был обновлен с более старых версий. В логах pve-задач ничего критичного не было. iSCSI-мультипуть настроен правильно на каждом узле с одинаковой конфигурацией.

```
root@proxmox1:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-26 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:4 sdt 65:48 active ready running
| `- 4:0:0:4 sdu 65:64 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:4 sds 65:32 active ready running
`- 5:0:0:4 sdv 65:80 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-48 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:5 sdo 8:224 active ready running
| `- 5:0:0:5 sdr 65:16 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 3:0:0:5 sdp 8:240 active ready running
`- 4:0:0:5 sdq 65:0 active ready running
```

```
root@proxmox2:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-19 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:4 sds 65:32 active ready running
| `- 5:0:0:4 sdv 65:80 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 3:0:0:4 sdt 65:48 active ready running
`- 4:0:0:4 sdu 65:64 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-61 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:5 sdp 8:240 active ready running
| `- 4:0:0:5 sdq 65:0 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:5 sdo 8:224 active ready running
`- 5:0:0:5 sdr 65:16 active ready running
```

```
root@proxmox3:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-6 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 4:0:0:4 sdu 65:64 active ready running
| `- 5:0:0:4 sdv 65:80 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:4 sds 65:32 active ready running
`- 3:0:0:4 sdt 65:48 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-8 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:5 sdo 8:224 active ready running
| `- 3:0:0:5 sdp 8:240 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 4:0:0:5 sdq 65:0 active ready running
`- 5:0:0:5 sdr 65:16 active ready running
```

```
root@proxmox2:~# pvesm status
Name Type Status Total Used Available %
LocalStorage dir active 2306280676 1541473928 647579844 66.84%
MSA2050 iscsi active 0 0 0 0.00%
PBS pbs active 3728442592 876956420 2662016888 23.52%
Proxmox_VMs_A_Pool lvm inactive 0 0 0 0.00%
Proxmox_VMs_B_Pool lvm inactive 0 0 0 0.00%
local dir active 98497780 20654036 72794196 20.97%
```

```
root@proxmox3:~# pvesm status
Name Type Status Total Used Available %
LocalStorage dir active 2306280676 240282808 1948770964 10.42%
MSA2050 iscsi active 0 0 0 0.00%
PBS pbs active 3728442592 876956420 2662016888 23.52%
Proxmox_VMs_A_Pool lvm inactive 0 0 0 0.00%
Proxmox_VMs_B_Pool lvm inactive 0 0 0 0.00%
local dir active 98497780 39278100 54170132 39.88%
```

Буду благодарен за любую помощь!
23.06.2025 20:58:00, TC_Tecnet.