+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

grub2-2.02-pve5 ломается на дисках GPT/EFI (например, с корнями ZFS)?, Proxmox Виртуальная Среда

spudger

Guest

09.12.2016 14:49:00

Привет. Мы используем наши хосты Proxmox в ZFS RAID10 (на SSD, хотя это не особенно важно). Обычно я устанавливаю систему на ZFS stripe через установщик Proxmox. Это удобно и просто, однако, после установки только один диск имеет раздел EFI BIOS (и, следовательно, является единственным загрузочным диском - кто-нибудь говорил про SPOF?) - и разделы имеют разное расположение (разные начальные/конечные блоки для членов ZFS и переполнения). Это кажется очевидным улучшением/запросом функции для установщика, но вручную это решить довольно просто. Я раскладываю (в данный момент неиспользуемый) диск так, как мне нужно (например, с 3 разделами: сначала раздел EFI Boot #1, затем член ZFS #2 и переполнение ZFS #9). А потом: с помощью sgdisk клонирую раскладку диска на любые другие, заменяю UUIDs "zpool replace" оригинальные диски на новые (на самом деле, заменяю раздел член ZFS, а не сам диск), чтобы добавить их в пул, жду завершения resilver, затем "zfs labelclear" на (теперь) неиспользуемых дисках, снова с помощью sgdisk клонирую/перегенерирую (нацеливаюсь на новый неиспользуемый диск), затем "zpool attach" их - на самом деле, раздел член ZFS, а не сам диск - обратно в пул в качестве зеркал. Заканчиваю с grub-install на все диски, чтобы любой из них мог быть загрузочным - в идеале протестировать загрузку с каждого, прежде чем мы начнем запускать ВМ. Поскольку предсказать, какой диск может выйти из строя, непросто. Это отлично работало последние 18 месяцев. Сегодня я обновил canary из репозитория pve-no-subscription; поскольку были изменения в grub, я собирался сделать grub-install на все диски. Замечаю, что grub из пакетов 2.02-pve5 выдает следующую ошибку: Код: root@k003:/home/andy# grub-install --target=i386-pc /dev/sda

Установка для платформы i386-pc.
grub-install: предупреждение: Попытка установить GRUB на диск с несколькими метками разделов. Это еще не поддерживается..
grub-install: ошибка: файловая система `zfs` не поддерживает блоковые списки. Обращение к разделу EFI BIOS boot напрямую дает: Код: root@k003:/home/andy# grub-install --target=i386-pc /dev/sda1
Установка для платформы i386-pc.
grub-install: ошибка: невозможно идентифицировать файловую систему в hostdisk//dev/sda; проверка безопасности не может быть выполнена. Возврат к grub-2.02-pve4 восстанавливает ожидаемое поведение и делает grub согласованным с тем, как он работает в других местах: Код: root@k003:/home/andy# grub-install --target=i386-pc /dev/sda
Установка для платформы i386-pc.
Установка завершена. Ошибок не сообщено.
root@k003:/home/andy# grub-install --target=i386-pc /dev/sdb
Установка для платформы i386-pc.
Установка завершена. Ошибок не сообщено.
root@k003:/home/andy# grub-install --target=i386-pc /dev/sdc
Установка для платформы i386-pc.
Установка завершена. Ошибок не сообщено.
root@k003:/home/andy# grub-install --target=i386-pc /dev/sdd
Установка для платформы i386-pc.
Установка завершена. Ошибок не сообщено. Вы хотели бы, чтобы я зарегистрировал ошибку в bugzilla?

joachim

Guest

06.04.2017 10:44:00

Не смог вставить вывод 'grub-probe -vv --device /dev/sdb2' сюда на форумы (слишком большой и длинный текст), поэтому я разместил его здесь: http://files.jocke.no/b/20170406-kakko_grub-probe.debug.txt Я смотрел на строки после 'grub-core/kern/fs.c:56: Detecting zfs...' и подумал, что все сообщения "чтение или запись вне диска" могут быть актуальными. Но они также присутствуют в выводе работающего хоста, так что теперь не знаю...

joachim

Guest

06.04.2017 03:51:00

Привет, сейчас мы сталкиваемся с этой проблемой. Мы сделали dist-upgrade, и grub обновился с grub-pve4 до grub-pve5. Он загружается примерно 30-50 минут, и большую часть времени на экране просто черный фон без мигающего курсора или чего-то подобного. Мы попытались откатиться на grub-pve4; Код: apt-mark hold pve-kernel-4.4.21-1-pve pve-kernel-4.4.49-1-pve apt-get install grub-common=2.02-pve4 grub-efi-amd64-bin=2.02-pve4 grub-efi-ia32-bin=2.02-pve4 grub-pc=2.02-pve4 grub-pc-bin=2.02-pve4 grub2-common=2.02-pve4 apt-mark unhold pve-kernel-4.4.21-1-pve pve-kernel-4.4.49-1-pve dpkg --list|grep grub|awk '{ print $2 }'| xargs apt-mark hold Это работает нормально, однако 'update-grub' выдает некоторые сообщения об ошибках; Код: root@kakko:~# update-grub Генерация конфигурационного файла grub ... Найдена linux-образ: /boot/vmlinuz-4.4.49-1-pve Найден initrd-образ: /boot/initrd.img-4.4.49-1-pve /usr/sbin/grub-probe: ошибка: неизвестная файловая система. Найдена linux-образ: /boot/vmlinuz-4.4.21-1-pve Найден initrd-образ: /boot/initrd.img-4.4.21-1-pve /usr/sbin/grub-probe: ошибка: неизвестная файловая система. Найден образ memtest86+: /ROOT/pve-1@/boot/memtest86+.bin Найден образ memtest86+ для мульти-загрузки: /ROOT/pve-1@/boot/memtest86+_multiboot.bin завершено. Пробировка / и /boot работает нормально; Код: root@kakko:~# grub-probe / zfs root@kakko:~# grub-probe /boot zfs Не понял, почему 'grub-probe' дает сбой, поэтому я начал изучать 'update-grub'. Я заметил, что это просто обертка для 'grub-mkconfig' (которая, в свою очередь, просто sh-скрипт). Он пытается найти/заполнить следующие переменные (чтобы определить файловую систему); Код: GRUB_DEVICE="`${grub_probe} --target=device / | head -n1`" GRUB_DEVICE_UUID="`${grub_probe} --device ${GRUB_DEVICE} --target=fs_uuid 2> /dev/null`" || true GRUB_DEVICE_BOOT="`${grub_probe} --target=device /boot | head -n1`" GRUB_DEVICE_BOOT_UUID="`${grub_probe} --device ${GRUB_DEVICE_BOOT} --target=fs_uuid 2> /dev/null`" || true GRUB_FS="`${grub_probe} --device ${GRUB_DEVICE} --target=fs 2> /dev/null || echo unknown`" Они выполняются в этом порядке, и, пытаясь их вручную; Код: root@kakko:~# grub_probe="/usr/sbin/grub-probe" root@kakko:~# GRUB_DEVICE="`${grub_probe} --target=device / | head -n1`" root@kakko:~# echo "GRUB_DEVICE: $GRUB_DEVICE" GRUB_DEVICE: /dev/sdb2 root@kakko:~# ${grub_probe} --device ${GRUB_DEVICE} --target=fs_uuid /usr/sbin/grub-probe: ошибка: неизвестная файловая система. root@kakko:~# grub-probe --device /dev/sdb2 grub-probe: ошибка: неизвестная файловая система. Таким образом, мы видим, что это и есть причина сбоя. На рабочей установке (работает grub-pve4); Код: root@hagewashi:~# grub_probe="/usr/sbin/grub-probe" root@hagewashi:~# GRUB_DEVICE="`${grub_probe} --target=device / | head -n1`" root@hagewashi:~# echo "GRUB_DEVICE: $GRUB_DEVICE" GRUB_DEVICE: /dev/sdb2 root@hagewashi:~# ${grub_probe} --device ${GRUB_DEVICE} --target=fs_uuid 236edab57a1bd1f8 root@hagewashi:~# grub-probe --device /dev/sdb2 zfs В текущем состоянии я не собираюсь перезагружать эту машину, так как боюсь, что она попадет в консоль grub или в состояние, в котором не загрузится. Есть желающие помочь решить эту проблему? Пожалуйста, дайте знать, какая отладочная информация нужна для дальнейшего решения проблемы.

joachim

Guest

06.04.2017 03:57:00

Некоторое дополнительное описание системы. Код: root@kakko:~# zpool status
пул: rpool
состояние: ОНЛАЙН
сканирование: восстановлено 25.4G за 2ч28м без ошибок в среду 5 апреля 2017 года в 15:40:17
конфигурация:

ИМЯ СОСТОЯНИЕ ЧТЕНИЕ ЗАПИСЬ КСУМ
rpool ОНЛАЙН 0 0 0
raidz2-0 ОНЛАЙН 0 0 0
sdb2 ОНЛАЙН 0 0 0
sde2 ОНЛАЙН 0 0 0
sdd2 ОНЛАЙН 0 0 0
sdf2 ОНЛАЙН 0 0 0
sdg2 ОНЛАЙН 0 0 0

ошибки: Нет известных ошибок данных

root@kakko:~# for disk in `ls -1 /dev/sd[b-z]`; do grub-install $disk ; done
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.
Установка для платформы i386-pc.
Установка завершена. Ошибок не обнаружено.

root@kakko:~# for disk in `ls -1 /dev/sd[b-z]`; do parted $disk print ; done
Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sdb: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sdc: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sdd: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sde: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sdf: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Модель: ATA WDC WD2500HHTZ-0 (scsi)
Диск /dev/sdg: 250GB
Размер сектора (логический/физический): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер Начало Конец Размер Файловая система Имя Флаги
1 17.4kB 1049kB 1031kB bios_grub
2 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

root@kakko:~# for disk in `ls -1 /dev/sd[b-z]`; do sgdisk -p $disk ; done
Диск /dev/sdb: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): 03BB7931-F754-43CC-8244-4100F90593A9
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
Диск /dev/sdc: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): 1128F15C-0769-4FBB-96CC-7731741B855B
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
Диск /dev/sdd: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): 7E69E085-5FE7-405E-86EC-4BA5E288A74A
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
Диск /dev/sde: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): E3C67DAC-40F6-492A-A2B8-19064038C5B5
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
Диск /dev/sdf: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): B522B266-68D5-4512-9AA2-FAF1326A3D01
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
Диск /dev/sdg: 488397168 сектор(ов), 232.9 GiB
Логический размер сектора: 512 байт
Идентификатор диска (GUID): 5A5FA03A-F20A-4D3C-A4F9-581014BE9D22
Таблица разделов вмещает до 128 записей
Первый доступный сектор 34, последний доступный сектор 488397134
Разделы будут выровнены на границах в 2 сектора
Всего свободного пространства 0 секторов (0 байт)

Номер Начало (сектор) Конец (сектор) Размер Код Имя
1 34 2047 1007.0 KiB EF02
2 2048 488380749 232.9 GiB BF01 zfs
9 488380750 488397134 8.0 MiB BF07
root@kakko:~#

fabian Guest	#5 0 06.04.2017 08:22:00 не могу перевести текст.

joachim

Guest

06.04.2017 10:10:00

Code: root@kakko:~# blkid /dev/sdb2
/dev/sdb2: LABEL="rpool" UUID="6641772703085228546" UUID_SUB="1864975891195802099" TYPE="zfs_member" PARTLABEL="zfs" PARTUUID="d4759e21-48a4-4e50-9bf4-b8def569c184"

root@kakko:~# udevadm info /dev/sdb2
P: /devices/pci0000:00/0000:00:03.0/0000:01:00.0/host4/port-4:0/end_device-4:0/target4:0:0/4:0:0:0/block/sdb/sdb2
N: sdb2
S: disk/by-id/ata-WDC_WD2500HHTZ-04N21V0_WD-WX11E83UZ597-part2
S: disk/by-id/wwn-0x50014ee6596d7dfa-part2
S: disk/by-partlabel/zfs
S: disk/by-partuuid/d4759e21-48a4-4e50-9bf4-b8def569c184
S: disk/by-path/pci-0000:01:00.0-sas-0x1221000000000000-lun-0-part2
E: DEVLINKS=/dev/disk/by-id/ata-WDC_WD2500HHTZ-04N21V0_WD-WX11E83UZ597-part2 /dev/disk/by-id/wwn-0x50014ee6596d7dfa-part2 /dev/disk/by-partlabel/zfs /dev/disk/by-partuuid/d4759e21-48a4-4e50-9bf4-b8def569c184 /dev/disk/by-path/pci-0000:01:00.0-sas-0x1221000000000000-lun-0-part2
E: DEVNAME=/dev/sdb2
E: DEVPATH=/devices/pci0000:00/0000:00:03.0/0000:01:00.0/host4/port-4:0/end_device-4:0/target4:0:0/4:0:0:0/block/sdb/sdb2
E: DEVTYPE=partition
E: ID_ATA=1
E: ID_ATA_DOWNLOAD_MICROCODE=1
E: ID_ATA_FEATURE_SET_APM=1
E: ID_ATA_FEATURE_SET_APM_CURRENT_VALUE=254
E: ID_ATA_FEATURE_SET_APM_ENABLED=1
E: ID_ATA_FEATURE_SET_HPA=1
E: ID_ATA_FEATURE_SET_HPA_ENABLED=1
E: ID_ATA_FEATURE_SET_PM=1
E: ID_ATA_FEATURE_SET_PM_ENABLED=1
E: ID_ATA_FEATURE_SET_PUIS=1
E: ID_ATA_FEATURE_SET_PUIS_ENABLED=0
E: ID_ATA_FEATURE_SET_SECURITY=1
E: ID_ATA_FEATURE_SET_SECURITY_ENABLED=0
E: ID_ATA_FEATURE_SET_SECURITY_ENHANCED_ERASE_UNIT_MIN=24
E: ID_ATA_FEATURE_SET_SECURITY_ERASE_UNIT_MIN=24
E: ID_ATA_FEATURE_SET_SMART=1
E: ID_ATA_FEATURE_SET_SMART_ENABLED=1
E: ID_ATA_ROTATION_RATE_RPM=10000
E: ID_ATA_SATA=1
E: ID_ATA_SATA_SIGNAL_RATE_GEN1=1
E: ID_ATA_SATA_SIGNAL_RATE_GEN2=1
E: ID_ATA_WRITE_CACHE=1
E: ID_ATA_WRITE_CACHE_ENABLED=1
E: ID_BUS=ata
E: ID_FS_LABEL=rpool
E: ID_FS_LABEL_ENC=rpool
E: ID_FS_TYPE=zfs_member
E: ID_FS_USAGE=raid
E: ID_FS_UUID=6641772703085228546
E: ID_FS_UUID_ENC=6641772703085228546
E: ID_FS_UUID_SUB=1864975891195802099
E: ID_FS_UUID_SUB_ENC=1864975891195802099
E: ID_FS_VERSION=5000
E: ID_MODEL=WDC_WD2500HHTZ-04N21V0
E: ID_MODEL_ENC=WDC\x20WD2500HHTZ-04N21V0\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20
E: ID_PART_ENTRY_DISK=8:16
E: ID_PART_ENTRY_NAME=zfs
E: ID_PART_ENTRY_NUMBER=2
E: ID_PART_ENTRY_OFFSET=2048
E: ID_PART_ENTRY_SCHEME=gpt
E: ID_PART_ENTRY_SIZE=488378702
E: ID_PART_ENTRY_TYPE=6a898cc3-1dd2-11b2-99a6-080020736631
E: ID_PART_ENTRY_UUID=d4759e21-48a4-4e50-9bf4-b8def569c184
E: ID_PART_TABLE_TYPE=gpt
E: ID_PART_TABLE_UUID=03bb7931-f754-43cc-8244-4100f90593a9
E: ID_PATH=pci-0000:01:00.0-sas-0x1221000000000000-lun-0
E: ID_PATH_TAG=pci-0000_01_00_0-sas-0x1221000000000000-lun-0
E: ID_REVISION=04.06A00
E: ID_SERIAL=WDC_WD2500HHTZ-04N21V0_WD-WX11E83UZ597
E: ID_SERIAL_SHORT=WD-WX11E83UZ597
E: ID_TYPE=disk
E: ID_WWN=0x50014ee6596d7dfa
E: ID_WWN_WITH_EXTENSION=0x50014ee6596d7dfa
E: MAJOR=8
E: MINOR=18
E: SUBSYSTEM=block
E: TAGS=:systemd:
E: USEC_INITIALIZED=607019

fabian

Guest

06.04.2017 11:30:00

Ваш вывод udevadm выглядит корректно. Можете уточнить, с какой версией вы получили связанные трассировки? Потому что по содержанию я предположил бы 2.02-pve4 (или старше), но последние строки говорят "неизвестная файловая система", что, как вы сказали, происходит с новой версией 2.02-pve5.

joachim

Guest

06.04.2017 11:37:00

Связанные трассировки были сделаны на 2.02-pve4 (которую мы понизили). Это версия, где появляется "неизвестная файловая система". Мы это сделали, так как у других был успех с понижением до 2.02-pve4 (чтобы решить проблему с долгой загрузкой), но так как мы столкнулись с "неизвестной файловой системой" при выполнении grub-update, мы еще не перезагружали систему (чтобы узнать, решает ли 2.02-pve4 проблему с долгой загрузкой). Мы можем снова попробовать вернуться к 2.02-pve5, но я подозреваю, что это не даст значительных результатов, если только у нас нет способа помочь с отладкой того, почему 2.02-pve5, кажется, ломает систему...

fabian Guest	#9 0 06.04.2017 11:45:00 Спасибо за уточнение. Очень сложно разобраться с такими проблемами без доступа к системе, где это происходит. Когда вы загружаете с 2.02-pve5, зависание происходит до или после отображения меню grub? В результате система все же загружается (и просто занимает "вечность"), или вы откатились, загрузившись с live-CD или чего-то подобного? Как изначально была установлена система? Если с помощью установщика PVE, то в какой версии?

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры