Привет, сейчас у меня есть вторая система, где значение cache=none по умолчанию приводит к невозможности загрузки ВМ. Главный вопрос — как найти эту проблему? К счастью, вторая система — мой домашний и тестовый сервер, так что я могу делать гораздо больше, чтобы разобраться.
Странно вот что: сервер оснащён аппаратным RAID-контроллером (areca 1210) с 3 томами (pve, sata и sata2 — все RAID-5 с 3 дисками), и проблема проявляется только на одном RAID-томе (sdb/sata1/vg:sata). У меня есть большой LV на VG sata, смонтированный как local-storage (в основном для nfs-сервера) с файловой системой ext4 — из-за размера и времени проверки fsck. С hdd-файлом в формате raw на этом локальном хранилище и с hdd-файлом как LV внутри sata-vg происходит одно и то же: с cache=none загрузка не идёт! Аналогичная проблема и с примонтированным ext3-LV из этого же VG.
Однако, когда raw-файл лежит на локальном хранилище (raid-том sda) или на третьем томе (lvm-хранилище sata2 — raid-том sdc), ВМ также загружается с cache=none!
Версия:
pve-manager: 2.2-19 (pve-manager/2.2/b8238244)
running kernel: 2.6.32-15-pve
proxmox-ve-2.6.32: 2.2-78
pve-kernel-2.6.32-11-pve: 2.6.32-66
pve-kernel-2.6.32-14-pve: 2.6.32-74
pve-kernel-2.6.32-15-pve: 2.6.32-78
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-28
qemu-server: 2.0-59
pve-firmware: 1.0-19
libpve-common-perl: 1.0-33
libpve-access-control: 1.0-25
libpve-storage-perl: 2.0-32
vncterm: 1.0-3
vzctl: 3.0.30-2pve5
vzprocps: 2.0.11-2
vzquota: 3.0.12-3
pve-qemu-kvm: 1.2-6
ksm-control-daemon: 1.1-1
Тома (диски):
cli64 vsf info
# Name Raid Name Level Capacity Ch/Id/Lun State
============================================================
1 sata1 sata_3tb_disks Raid5 4000.0GB 00/00/01 Normal
2 pve sata_3tb_disks Raid5 100.0GB 00/00/00 Normal
3 sata2 sata_3tb_disks Raid5 1900.0GB 00/00/02 Normal
============================================================
Информация о volume group, где кэш должен быть write through:
--- Volume group ---
VG Name sata
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size 3,64 TiB
PE Size 4,00 MiB
Total PE 953673
Alloc PE / Size 813824 / 3,10 TiB
Free PE / Size 139849 / 546,29 GiB
VG UUID aq1YV7-GdSC-7cz9-Y8JQ-FqMj-vNls-9MZ0l
storage.cfg:
lvm: sata
vgname sata
content images
lvm: sata2
vgname sata2
content images
dir: local
path /var/lib/vz
content images,iso,vztmpl,rootdir
maxfiles 0
dir: local-sata
path /mnt/local-sata
content images,rootdir
maxfiles 1
dir: test
path /mnt/test-sata
content images
maxfiles 1
mount:
none /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0
none /proc proc rw,nosuid,nodev,noexec,relatime 0 0
none /dev devtmpfs rw,relatime,size=4060340k,nr_inodes=1015085,mode=755 0 0
none /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/pve-root / ext3 rw,relatime,errors=remount-ro,barrier=0,data=ordered 0 0
tmpfs /lib/init/rw tmpfs rw,nosuid,relatime,mode=755 0 0
tmpfs /dev/shm tmpfs rw,nosuid,nodev,relatime 0 0
/dev/mapper/pve-data /var/lib/vz ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
/dev/sda1 /boot ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
/dev/mapper/sata-local /mnt/local-sata ext4 rw,relatime,barrier=1,data=ordered 0 0
fusectl /sys/fs/fuse/connections fusectl rw,relatime 0 0
/dev/fuse /etc/pve fuse rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other 0 0
beancounter /proc/vz/beancounter cgroup rw,relatime,blkio,name=beancounter 0 0
container /proc/vz/container cgroup rw,relatime,freezer,devices,name=container 0 0
fairsched /proc/vz/fairsched cgroup rw,relatime,cpuacct,cpu,cpuset,name=fairsched 0 0
/mnt/local-sata/private/100 /var/lib/vz/root/100 simfs rw,relatime 0 0
proc /var/lib/vz/root/100/proc proc rw,relatime 0 0
sysfs /var/lib/vz/root/100/sys sysfs rw,relatime 0 0
nfsd /var/lib/vz/root/100/proc/fs/nfsd nfsd rw,relatime 0 0
sunrpc /var/lib/vz/root/100/var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
tmpfs /var/lib/vz/root/100/lib/init/rw tmpfs rw,nosuid,relatime,size=393216k,nr_inodes=98304,mode=755 0 0
tmpfs /var/lib/vz/root/100/dev/shm tmpfs rw,nosuid,nodev,relatime,size=393216k,nr_inodes=98304 0 0
devpts /var/lib/vz/root/100/dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/sata-test /mnt/test-sata ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
В логах (messages+syslog) ни слова об этом нет. Есть идеи, как найти причину проблемы?
Udo
Странно вот что: сервер оснащён аппаратным RAID-контроллером (areca 1210) с 3 томами (pve, sata и sata2 — все RAID-5 с 3 дисками), и проблема проявляется только на одном RAID-томе (sdb/sata1/vg:sata). У меня есть большой LV на VG sata, смонтированный как local-storage (в основном для nfs-сервера) с файловой системой ext4 — из-за размера и времени проверки fsck. С hdd-файлом в формате raw на этом локальном хранилище и с hdd-файлом как LV внутри sata-vg происходит одно и то же: с cache=none загрузка не идёт! Аналогичная проблема и с примонтированным ext3-LV из этого же VG.
Однако, когда raw-файл лежит на локальном хранилище (raid-том sda) или на третьем томе (lvm-хранилище sata2 — raid-том sdc), ВМ также загружается с cache=none!
Версия:
pve-manager: 2.2-19 (pve-manager/2.2/b8238244)
running kernel: 2.6.32-15-pve
proxmox-ve-2.6.32: 2.2-78
pve-kernel-2.6.32-11-pve: 2.6.32-66
pve-kernel-2.6.32-14-pve: 2.6.32-74
pve-kernel-2.6.32-15-pve: 2.6.32-78
lvm2: 2.02.95-1pve2
clvm: 2.02.95-1pve2
corosync-pve: 1.4.3-1
openais-pve: 1.1.4-2
libqb: 0.10.1-2
redhat-cluster-pve: 3.1.92-3
resource-agents-pve: 3.9.2-3
fence-agents-pve: 3.1.8-1
pve-cluster: 1.0-28
qemu-server: 2.0-59
pve-firmware: 1.0-19
libpve-common-perl: 1.0-33
libpve-access-control: 1.0-25
libpve-storage-perl: 2.0-32
vncterm: 1.0-3
vzctl: 3.0.30-2pve5
vzprocps: 2.0.11-2
vzquota: 3.0.12-3
pve-qemu-kvm: 1.2-6
ksm-control-daemon: 1.1-1
Тома (диски):
cli64 vsf info
# Name Raid Name Level Capacity Ch/Id/Lun State
============================================================
1 sata1 sata_3tb_disks Raid5 4000.0GB 00/00/01 Normal
2 pve sata_3tb_disks Raid5 100.0GB 00/00/00 Normal
3 sata2 sata_3tb_disks Raid5 1900.0GB 00/00/02 Normal
============================================================
Информация о volume group, где кэш должен быть write through:
--- Volume group ---
VG Name sata
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size 3,64 TiB
PE Size 4,00 MiB
Total PE 953673
Alloc PE / Size 813824 / 3,10 TiB
Free PE / Size 139849 / 546,29 GiB
VG UUID aq1YV7-GdSC-7cz9-Y8JQ-FqMj-vNls-9MZ0l
storage.cfg:
lvm: sata
vgname sata
content images
lvm: sata2
vgname sata2
content images
dir: local
path /var/lib/vz
content images,iso,vztmpl,rootdir
maxfiles 0
dir: local-sata
path /mnt/local-sata
content images,rootdir
maxfiles 1
dir: test
path /mnt/test-sata
content images
maxfiles 1
mount:
none /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0
none /proc proc rw,nosuid,nodev,noexec,relatime 0 0
none /dev devtmpfs rw,relatime,size=4060340k,nr_inodes=1015085,mode=755 0 0
none /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/pve-root / ext3 rw,relatime,errors=remount-ro,barrier=0,data=ordered 0 0
tmpfs /lib/init/rw tmpfs rw,nosuid,relatime,mode=755 0 0
tmpfs /dev/shm tmpfs rw,nosuid,nodev,relatime 0 0
/dev/mapper/pve-data /var/lib/vz ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
/dev/sda1 /boot ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
/dev/mapper/sata-local /mnt/local-sata ext4 rw,relatime,barrier=1,data=ordered 0 0
fusectl /sys/fs/fuse/connections fusectl rw,relatime 0 0
/dev/fuse /etc/pve fuse rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other 0 0
beancounter /proc/vz/beancounter cgroup rw,relatime,blkio,name=beancounter 0 0
container /proc/vz/container cgroup rw,relatime,freezer,devices,name=container 0 0
fairsched /proc/vz/fairsched cgroup rw,relatime,cpuacct,cpu,cpuset,name=fairsched 0 0
/mnt/local-sata/private/100 /var/lib/vz/root/100 simfs rw,relatime 0 0
proc /var/lib/vz/root/100/proc proc rw,relatime 0 0
sysfs /var/lib/vz/root/100/sys sysfs rw,relatime 0 0
nfsd /var/lib/vz/root/100/proc/fs/nfsd nfsd rw,relatime 0 0
sunrpc /var/lib/vz/root/100/var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
tmpfs /var/lib/vz/root/100/lib/init/rw tmpfs rw,nosuid,relatime,size=393216k,nr_inodes=98304,mode=755 0 0
tmpfs /var/lib/vz/root/100/dev/shm tmpfs rw,nosuid,nodev,relatime,size=393216k,nr_inodes=98304 0 0
devpts /var/lib/vz/root/100/dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
/dev/mapper/sata-test /mnt/test-sata ext3 rw,relatime,errors=continue,barrier=0,data=ordered 0 0
В логах (messages+syslog) ни слова об этом нет. Есть идеи, как найти причину проблемы?
Udo
