+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

RSS

LVM/iSCSI через графический интерфейс кластера – другие узлы не создают PV/VG/LVM после синхронизации storage.cfg., Proxmox Виртуальная Среда

TC_Tecnet

Guest

23.06.2025 20:58:00

Привет всем!

Заметил, что другие пользователи отметили эту проблему, но так и не было выяснено, должно ли автоматическое создание PV/VG/LVM на каждом узле происходить при создании общего LVM через iSCSI-хранилище на уровне кластера. Основной узел создает все, и `storage.cfg` синхронизируется, однако на остальных двух узлах кластера PV/VG/LVM не создаются после синхронизации. Это ожидаемое поведение? Возможно, отсутствует какая-то зависимость, учитывая, что кластер был обновлен с более старых версий. В логах pve-задач ничего критичного не было. iSCSI-мультипуть настроен правильно на каждом узле с одинаковой конфигурацией.

```
root@proxmox1:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-26 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:4 sdt 65:48 active ready running
| `- 4:0:0:4 sdu 65:64 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:4 sds 65:32 active ready running
`- 5:0:0:4 sdv 65:80 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-48 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:5 sdo 8:224 active ready running
| `- 5:0:0:5 sdr 65:16 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 3:0:0:5 sdp 8:240 active ready running
`- 4:0:0:5 sdq 65:0 active ready running
```

```
root@proxmox2:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-19 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:4 sds 65:32 active ready running
| `- 5:0:0:4 sdv 65:80 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 3:0:0:4 sdt 65:48 active ready running
`- 4:0:0:4 sdu 65:64 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-61 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:5 sdp 8:240 active ready running
| `- 4:0:0:5 sdq 65:0 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:5 sdo 8:224 active ready running
`- 5:0:0:5 sdr 65:16 active ready running
```

```
root@proxmox3:~# multipath -ll
msa_2050_proxmox_vms_a_pool (3600c0ff0003c81a64cef536801000000) dm-6 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 4:0:0:4 sdu 65:64 active ready running
| `- 5:0:0:4 sdv 65:80 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 2:0:0:4 sds 65:32 active ready running
`- 3:0:0:4 sdt 65:48 active ready running
msa_2050_proxmox_vms_b_pool (3600c0ff0003c80a05b69556801000000) dm-8 HPE,MSA 2050 SAN
size=8.6T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 2:0:0:5 sdo 8:224 active ready running
| `- 3:0:0:5 sdp 8:240 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 4:0:0:5 sdq 65:0 active ready running
`- 5:0:0:5 sdr 65:16 active ready running
```

```
root@proxmox2:~# pvesm status
Name Type Status Total Used Available %
LocalStorage dir active 2306280676 1541473928 647579844 66.84%
MSA2050 iscsi active 0 0 0 0.00%
PBS pbs active 3728442592 876956420 2662016888 23.52%
Proxmox_VMs_A_Pool lvm inactive 0 0 0 0.00%
Proxmox_VMs_B_Pool lvm inactive 0 0 0 0.00%
local dir active 98497780 20654036 72794196 20.97%
```

```
root@proxmox3:~# pvesm status
Name Type Status Total Used Available %
LocalStorage dir active 2306280676 240282808 1948770964 10.42%
MSA2050 iscsi active 0 0 0 0.00%
PBS pbs active 3728442592 876956420 2662016888 23.52%
Proxmox_VMs_A_Pool lvm inactive 0 0 0 0.00%
Proxmox_VMs_B_Pool lvm inactive 0 0 0 0.00%
local dir active 98497780 39278100 54170132 39.88%
```

Буду благодарен за любую помощь!

bbgeek17

Guest

23.06.2025 22:25:00

Привет, @TC_Tecnet, добро пожаловать на форум! Первоначальное (ручное) управление LVM выполняется только с одного узла (любого). LVM-сигнатура записывается на диск и будет видна всем узлам, использующим общий доступ к LUN. В дальнейшем PVE будет плотно координировать управление LVM внутри, чтобы гарантировать, что только один узел за раз выполняет операции с метаданными (создание, удаление и т.д.). Может быть, эта статья окажется полезной: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage Blockbridge : Сверхнизкая задержка все-NVME-хранилища для Proxmox - https://www.blockbridge.com/proxmox

TC_Tecnet Guest	#3 0 23.06.2025 23:17:00 Редактирую: похоже, команда "pvscan --cache" решила проблему без перезагрузки или ручного создания. Остальное можно игнорировать. В частности, речь идет о создании LVM через графический интерфейс, а не о создании PV/VG на каждом узле с последующей регистрацией в PVE. В обоих случаях, команды `pvs` и `vgs` не отображали новые хранилища на других узлах, хотя `pvscan` и `vgscan` их показывали. Код: root@proxmox1:~# pvs PV VG Fmt Attr PSize PFree /dev/mapper/msa_2050_proxmox_vms_a_pool vg_proxmox_vms_a_pool lvm2 a-- 8.64t 8.64t /dev/mapper/msa_2050_proxmox_vms_b_pool vg_proxmox_vms_b_pool lvm2 a-- 8.64t 8.64t /dev/nvme0n1p3 pve lvm2 a-- <446.07g 8.64TiB free /dev/sda local_storage lvm2 a-- 2.18t 0 root@proxmox1:~# pvscan PV /dev/mapper/msa_2050_proxmox_vms_b_pool VG vg_proxmox_vms_b_pool lvm2 [8.64 TiB / 8.64 TiB free] PV /dev/mapper/msa_2050_proxmox_vms_a_pool VG vg_proxmox_vms_a_pool lvm2 [8.64 TiB / 8.64 TiB free] PV /dev/nvme0n1p3 VG pve lvm2 [<446.07 GiB / 16.00 GiB free] PV /dev/sda VG local_storage lvm2 [2.18 TiB / 0 free] Код: root@proxmox1:~# vgs VG #PV #LV #SN Attr VSize VFree local_storage 1 1 0 wz--n- 2.18t 0 pve 1 3 0 wz--n- <446.07g 16.00g vg_proxmox_vms_a_pool 1 0 0 wz--n- 8.64t 8.64t vg_proxmox_vms_b_pool 1 0 0 wz--n- 8.64t 8.64t root@proxmox1:~# vgscan Found volume group "vg_proxmox_vms_b_pool" using metadata type lvm2 Found volume group "vg_proxmox_vms_a_pool" using metadata type lvm2 Found volume group "pve" using metadata type lvm2 Found volume group "local_storage" using metadata type lvm2 Код: root@proxmox2:~# pvs PV VG Fmt Attr PSize PFree /dev/nvme0n1p3 pve lvm2 a-- <446.07g 16.00g /dev/sda local_storage lvm2 a-- 2.18t 0 root@proxmox2:~# pvscan PV /dev/mapper/msa_2050_proxmox_vms_b_pool VG vg_proxmox_vms_b_pool lvm2 [8.64 TiB / 8.64 TiB free] PV /dev/mapper/msa_2050_proxmox_vms_a_pool VG vg_proxmox_vms_a_pool lvm2 [8.64 TiB / 8.64 TiB free] PV /dev/nvme0n1p3 VG pve lvm2 [<446.07 GiB / 16.00 GiB free] PV /dev/sda VG local_storage lvm2 [2.18 TiB / 0 free] Код: root@proxmox2:~# vgs VG #PV #LV #SN Attr VSize VFree local_storage 1 1 0 wz--n- 2.18t 0 pve 1 3 0 wz--n- <446.07g 16.00g root@proxmox2:~# vgscan Found volume group "vg_proxmox_vms_b_pool" using metadata type lvm2 Found volume group "vg_proxmox_vms_a_pool" using metadata type lvm2 Found volume group "pve" using metadata type lvm2 Found volume group "local_storage" using metadata type lvm2

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры