+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

PVE root на ZFS – нет такого логического тома pve/data., Proxmox Виртуальная Среда

abourges

Guest

13.05.2025 11:22:00

Привет, ...мы сейчас тестируем систему с тремя узлами. Два узла используют ZFS для корневой файловой системы (два отдельных диска в ZFS-raid-1), а третий узел (с аппаратным RAID-1) использует ext-4. В логах появляется *очень много* следующих сообщений: Код: 2025-05-13T11:17:32-04:00 tick pvestatd[2778]: no such logical volume pve/data
2025-05-13T11:17:32-04:00 tick pvestatd[2778]: no such logical volume pve/data
2025-05-13T11:17:33-04:00 punk pvestatd[2783]: no such logical volume pve/data
2025-05-13T11:17:33-04:00 punk pvestatd[2783]: no such logical volume pve/data
2025-05-13T11:17:42-04:00 tick pvestatd[2778]: no such logical volume pve/data
2025-05-13T11:17:42-04:00 tick pvestatd[2778]: no such logical volume pve/data
2025-05-13T11:17:43-04:00 punk pvestatd[2783]: no such logical volume pve/data
2025-05-13T11:17:43-04:00 punk pvestatd[2783]: no such logical volume pve/data
lsblk от узла, который выдает ошибки: Код: NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 465.8G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 1G 0 part
└─sda3 8:3 0 464.8G 0 part
sdb 8:16 0 465.8G 0 disk
├─sdb1 8:17 0 1007K 0 part
├─sdb2 8:18 0 1G 0 part
└─sdb3 8:19 0 464.8G 0 part
sdc 8:32 0 3.6T 0 disk
└─ceph--87c4bf7b--e95c--43da--99ad--c4edd744dba0-osd--block--2df553b3--9350--47bd--89fb--ffcb7a9f21ba 252:0 0 3.6T 0 lvm
sdd 8:48 0 3.6T 0 disk
└─ceph--54405b2a--5160--44e0--9293--8dfbdad80b9a-osd--block--1f55e666--95bc--4021--b925--8c891bc2f1a4 252:2 0 3.6T 0 lvm
sde 8:64 0 3.6T 0 disk
└─ceph--a7dae876--5dfa--4d0f--bfcc--e64c2d6fc16d-osd--block--3c61f76b--0d18--48cd--9610--588d9fc651db 252:1 0 3.6T 0 lvm
sdf 8:80 1 0B 0 disk
sdg 8:96 0 14.9G 0 disk
├─sdg1 8:97 0 100M 0 part
├─sdg5 8:101 0 1G 0 part
├─sdg6 8:102 0 1G 0 part
└─sdg7 8:103 0 12.8G 0 part
sr0 11:0 1 1.3G 0 rom
rbd0 251:0 0 4M 0 disk
vgdisplay показывает только VG ceph: Код: root@tick:/var/log# vgdisplay
--- Volume group ---
VG Name ceph-a7dae876-5dfa-4d0f-bfcc-e64c2d6fc16d
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size <3.64 TiB
PE Size 4.00 MiB
Total PE 953861
Alloc PE / Size 953861 / <3.64 TiB
Free PE / Size 0 / 0
VG UUID 1qCeNg-lrrt-pPNn-foc0-t5bU-sNi2-7rXgMs

--- Volume group ---
VG Name ceph-54405b2a-5160-44e0-9293-8dfbdad80b9a
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size <3.64 TiB
PE Size 4.00 MiB
Total PE 953861
Alloc PE / Size 953861 / <3.64 TiB
Free PE / Size 0 / 0
VG UUID IRb0Pz-m2Ny-L2dI-rIIv-RVNt-3PKB-8fXcgg

--- Volume group ---
VG Name ceph-87c4bf7b-e95c-43da-99ad-c4edd744dba0
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size <3.64 TiB
PE Size 4.00 MiB
Total PE 953861
Alloc PE / Size 953861 / <3.64 TiB
Free PE / Size 0 / 0
VG UUID BrCBkH-KHz6-k2Lb-o28d-QD6J-fJAs-kK2PZN

root@tick:/var/log# Поиск по форуму не привел к решению. Кажется, PVE ожидает VG/LV LVM, которых нет при использовании ZFS для корневой файловой системы... Есть ли какие-нибудь подсказки, как избавиться от этих сообщений? Спасибо, Andreas

abourges Guest	#2 0 13.05.2025 12:29:00 Привет, ...да, это был быстрый фикс! Спасибо большое! Получается, проблема была в смешивании разных вариантов хранилища на нодах в одном кластере? Спасибо, Андреас.

cheiss Guest	#3 0 13.05.2025 11:24:00 Привет, пожалуйста, предоставь полную конфигурацию хранилища, а именно вывод команды cat /etc/pve/storage.cfg. Похоже, что хранилище немного неправильно настроено.

abourges

Guest

13.05.2025 12:01:00

Привет, ...поехали:

Code: root@tick:~# cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content iso,backup,vztmpl

lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images

rbd: TEST_POOL
content images,rootdir
krbd 0
pool TEST_POOL

dir: Software
path /mnt/ISO
content iso
prune-backups keep-all=1
shared 0

nfs: Software-test
export /export/software
path /mnt/pve/Software-test
server files.xxx.lab
content iso
prune-backups keep-all=1

root@tick:~# Спасибо, Andreas

cheiss

Guest

13.05.2025 12:21:00

Код: lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images

Локальное хранилище local-lvm, которое создается по умолчанию при установке ext4 и xfs, настроено не так, чтобы оно было ограничено одним узлом. Это можно исправить двумя способами: либо в веб-интерфейсе, перейдя в Datacenter > Storage > local-lvm и выбрав только третий узел, основанный на ext4, для узлов, либо вручную добавить настройки узлов в /etc/pve/storage.cfg следующим образом:

Код: lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images
nodes <hostname-of-the-third-node>

cheiss Guest	#6 0 13.05.2025 12:43:00 Да, в принципе, так. Хотя, как ты видел, это на самом деле не проблема и не запрещено на практике, подсистема хранения просто нуждается в корректной информации о том, какое хранилище доступно на каких узлах. Конечно, кластер, максимально однородный, может упростить вещи, но каждый тип хранилища также имеет свои плюсы и минусы, поэтому может и иметь смысл иметь разные базовые хранилища. Пожалуйста, просто в конце отметь тему как РЕШЕНО, отредактировав первый пост — рядом с полем названия должна быть выпадающая меню для установки статуса. Это поможет другим людям легче находить эту тему в будущем.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры