Всем привет, я сейчас подключаю Pure Storage и IBM Storage к Proxmox через multipath. Создал поверх этого общий LVM, всё работает, но заметил пару моментов, в которых не уверен на 100%. Может, кто-то подтвердит, что это нормальное поведение.
Схема:
- 3-нода Proxmox кластер (9.0.6)
- 4 массива Pure Storage (2 в активном кластере)
- 2 массива IBM (гиперсвоп кластер)
Пример: VM с ID 100 на node1, VM с ID 101 на node2
Поведение 1
Когда запускаю qm rescan на node1, получаю ошибки для диска VM, который живёт на node2:
failed to stat '/dev/Pure-storage-vg01/vm-101-disk-0.qcow2'
failed to stat '/dev/Pure-storage-vg02/vm-101-disk-0.qcow2'
Если делаю то же самое на node2, показываются ошибки для диска на node1:
failed to stat '/dev/Pure-storage-vg02/vm-100-disk-0.qcow2'
failed to stat '/dev/Pure-storage-vg01/vm-100-disk-0.qcow2'
Моё предположение: только нода, которая "владеет" VM, может записывать метаданные, но не уверен на все 100%.
Поведение 2
Создал VM (ID 100). Перенёс её диски из VG01 → VG02 (то же хранилище, другой iSCSI том). Иногда после этого появляется ошибка:
can't deactivate LV, volume deactivation failed
Если удалить VM 100 и создать новую на VG01, старые данные всё ещё там. Похоже, удаляется только ссылка, а сами данные остаются.
Пробовал включить “wipe removed volumes”, но очистка идёт очень медленно (~10–15 МБ/с). Хранилище само по себе не должно быть узким местом.
Для меня всё это новое, надеюсь, вы поможете разобраться. С vmfs проще было, сейчас приходится учиться.
Схема:
- 3-нода Proxmox кластер (9.0.6)
- 4 массива Pure Storage (2 в активном кластере)
- 2 массива IBM (гиперсвоп кластер)
Пример: VM с ID 100 на node1, VM с ID 101 на node2
Поведение 1
Когда запускаю qm rescan на node1, получаю ошибки для диска VM, который живёт на node2:
failed to stat '/dev/Pure-storage-vg01/vm-101-disk-0.qcow2'
failed to stat '/dev/Pure-storage-vg02/vm-101-disk-0.qcow2'
Если делаю то же самое на node2, показываются ошибки для диска на node1:
failed to stat '/dev/Pure-storage-vg02/vm-100-disk-0.qcow2'
failed to stat '/dev/Pure-storage-vg01/vm-100-disk-0.qcow2'
Моё предположение: только нода, которая "владеет" VM, может записывать метаданные, но не уверен на все 100%.
Поведение 2
Создал VM (ID 100). Перенёс её диски из VG01 → VG02 (то же хранилище, другой iSCSI том). Иногда после этого появляется ошибка:
can't deactivate LV, volume deactivation failed
Если удалить VM 100 и создать новую на VG01, старые данные всё ещё там. Похоже, удаляется только ссылка, а сами данные остаются.
Пробовал включить “wipe removed volumes”, но очистка идёт очень медленно (~10–15 МБ/с). Хранилище само по себе не должно быть узким местом.
Для меня всё это новое, надеюсь, вы поможете разобраться. С vmfs проще было, сейчас приходится учиться.
