+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Замена диска в пуле ZFS --> Я не стал вникать подробно, Proxmox Виртуальная Среда

fireon

Guest

02.02.2015 20:20:00

Привет, сегодня я настроил машину с новым установщиком Proxmox. Система собрана с ZFS Raid1. Хочу смоделировать отказ жесткого диска. Итак, заменил один диск:
Код:
pool: rpool state: DEGRADED
status: Один или несколько устройств не могут быть использованы, потому что метка отсутствует или повреждена. Данное количество реплик достаточно, чтобы пул продолжал работу в деградированном состоянии.
action: Замените устройство с помощью команды 'zpool replace'.
см. http://zfsonlinux.org/msg/ZFS-8000-4J
scan: не запрошено
config:

NAME STATE READ WRITE CKSUM
rpool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
sda3 ONLINE 0 0 0
sdb3 UNAVAIL 0 116 0 поврежденные данные

Первое, что сделал — вставил новый диск в сервер, готово... но... ничего не происходит. Система диск не видит. Поискал в гугле, нашёл такое:
Код:
echo "0 0 0" >/sys/class/scsi_host/host3/scan
Сканирует каждый порт. Но думаю, есть специальная команда для ZFS. Надеюсь на это.

Потом диск появился в fdisk:
Код:
Disk /dev/sdb: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders, всего 488397168 секторов
Единицы — сектора по 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
I/O размер (минимальный/оптимальный): 512 байт / 512 байт
Идентификатор диска: 0xbe36be36

Device Boot Start End Blocks Id System
/dev/sdb1 * 2048 718847 358400 7 HPFS/NTFS/exFAT
/dev/sdb2 718848 488394751 243837952 7 HPFS/NTFS/exFAT

Хорошо, хочу заменить диск. Первая попытка:
Код:
zpool replace -f rpool /dev/sdb3 /dev/sdb3
cannot open '/dev/sdb3': Нет такого устройства или адреса
cannot replace /dev/sdb3 with /dev/sdb3: одно или несколько устройств сейчас недоступны

Вторая попытка:
Код:
zpool replace -f rpool /dev/sdb3 /dev/sdb
Убедитесь, что дождались завершения resilver перед перезагрузкой.

Первый статус:
Код:
pool: rpool
state: DEGRADED
status: Одно или несколько устройств сейчас восстанавливаются (resilvering). Пул будет работать, возможно, в деградированном состоянии.
action: Ждите завершения resilver.
scan: resilver в процессе с Mon Feb 2 20:04:37 2015
371M отсканировано из 639M со скоростью 11.2M/s, осталось 0ч0м
370M восстановлено, 58.05% выполнено
config:

NAME STATE READ WRITE CKSUM
rpool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
sda3 ONLINE 0 0 0
replacing-1 UNAVAIL 0 0 0
sdb3 UNAVAIL 0 116 0 поврежденные данные
sdb ONLINE 0 0 0 (resilvering)

Через несколько минут:
Код:
pool: rpool
state: ONLINE
scan: resilvered 639M за 0ч0м без ошибок Mon Feb 2 20:05:31 2015
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda3 ONLINE 0 0 0
sdb ONLINE 0 0 0

errors: Нет известных ошибок данных

Это действительно нормально? А как насчёт EFI и загрузочной записи из parted?
Код:
Model: ATA ST380817AS (scsi)
Disk /dev/sda: 80.0GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number Start End Size File system Name Flags
1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub
2 2097kB 136MB 134MB fat32 EFI-System-Partition boot
3 136MB 80.0GB 79.9GB zfs PVE-ZFS-Partition

Model: ATA ST3250820NS (scsi)
Disk /dev/sdb: 250GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number Start End Size File system Name Flags
1 1049kB 250GB 250GB zfs zfs
9 250GB 250GB 8389kB

Model: Unknown (unknown)
Disk /dev/zd0: 4295MB
Sector size (logical/physical): 512B/4096B
Partition Table: loop

Number Start End Size File system Flags
1 0.00B 4295MB 4295MB linux-swap(v1)

Думаю, система загружается только с первого диска. Спасибо и всего хорошего.

nickgr

Guest

20.02.2015 14:46:00

Привет! Сегодня собирался перенести сервак в Датацентр 6 — настроил сервера с Proxmox 3.3 и softraid на Debian, но не удержался и решил перейти на ZFS и proxmox 3.4. Пришлось разобраться, как заменить вышедший из строя диск. Я вынул и поставил новый пустой диск, затем скопировал разделы с рабочего диска sda на пустой sdb:

sgdisk -R /dev/sdb /dev/sda
sgdisk -G /dev/sdb

(Дальше через parted)
select /dev/sdb
Используется /dev/sdb
Model: ATA WDC WD2000FYYZ-0 (scsi)
Disk /dev/sdb: 2000398934016B
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Ном. Начало Конец Размер Файловая система Имя Флаги
1 1048576B 2097151B 1048576B Grub-Boot-Partition bios_grub
2 2097152B 136314879B 134217728B fat32 EFI-System-Partition boot, esp
3 136314880B 2000397885439B 2000261570560B zfs PVE-ZFS-Partition

Разделы скопированы, теперь копируем данные:
dd if=/dev/sda1 of=/dev/sdb1 bs=512
dd if=/dev/sda2 of=/dev/sdb2 bs=512

Потом с помощью простых команд zpool присоединил sdb3 к пулу, подождал пару минут, пока прошла ресилверизация. На всякий случай сделал:
grub-install /dev/sda
grub-install /dev/sdb
update-grub

Удалил диск sda и перезагрузил сервер. Сервер загрузился с sdb без проблем.

fireon

Guest

16.03.2015 15:24:00

Привет, я тестировал снова и снова. Почему? Потому что собрал новый сервер. Тестировал с USB 3.0 флешкой. Но это не самая хорошая идея: http://forum.proxmox.com/threads/21390-Install-proxmox-on-an-USB-3-0-stick-gt-Is-this-a-good-idea. Другой вариант — поставить два SSD в Raid1 только для системы: http://forum.proxmox.com/threads/21401-Does-Proxmox-works-with-this-controllers. Искал в интернете, но подходящих только SATA-контроллеров нет, у всех есть RAID... странно. Зачем эти вопросы? Я на самом деле не знаю, какой способ с ZFS лучше. Есть ли действительно проблемы с производительностью, если использовать ZFS с разделами, а не на весь диск целиком? С наилучшими пожеланиями.

Nemesiz Guest	#4 0 16.03.2015 19:10:00 Посмотри информацию про контроллер HBA. Что касается ZFS, то можно использовать раздел, и при этом ты не потеряешь скорость, если другой раздел предназначен для загрузки или чего-то подобного.

fireon Guest	#5 0 16.03.2015 22:58:00 Извиняюсь, что снова спрашиваю... Тут никаких проблем вроде нет? http://forum.proxmox.com/threads/20096-HP-Raid-add-GPT-with-LVM-Perfromance-Warning никаких особых разделов с секторами? Если нет, тогда у меня всё должно получиться нормально.

Nemesiz Guest	#6 0 17.03.2015 08:56:00 ZFS не форматирует раздел или весь диск. Ты не должен сталкиваться с такой проблемой.

fireon

Guest

17.03.2015 11:59:00

Итак, я тестировал это с 4-дисковым Raid Z10. Установка через proxmoxdisc проходит нормально. Потом я заглянул в parted и увидел, что разделы для Grub созданы только на первых двух дисках. Я проверил и попробовал загрузиться с дисков 3 и 4 — они не загружаются. Если я не ошибаюсь... Grub должен быть на каждом диске...

Код:
Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sda: 10.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number Start End Size File system Name Flags
1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub
2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp
3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition

Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sdb: 10.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number Start End Size File system Name Flags
1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub
2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp
3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition

Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sdc: 10.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number Start End Size File system Name Flags
1 1049kB 10.7GB 10.7GB zfs zfs
9 10.7GB 10.7GB 8389kB

Model: ATA QEMU HARDDISK (scsi)
Disk /dev/sdd: 10.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number Start End Size File system Name Flags
1 1049kB 10.7GB 10.7GB zfs zfs
9 10.7GB 10.7GB 8389kB

Model: Unknown (unknown)
Disk /dev/zd0: 1208MB
Sector size (logical/physical): 512B/4096B
Partition Table: loop
Disk Flags:

Number Start End Size File system Flags
1 0.00B 1208MB 1208MB linux-swap(v1)

Код:
pool: rpool
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda3 ONLINE 0 0 0
sdb3 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
sdd ONLINE 0 0 0
sdc ONLINE 0 0 0

errors: No known data errors

Спасибо за ответ.

fireon Guest	#8 0 17.03.2015 13:01:00 Проверил это тоже с RaidZ2 и 6 дисками. И всё сработало отлично! Странно. Код: Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sda: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sdb: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sdc: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sdd: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sde: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: ATA QEMU HARDDISK (scsi) Диск /dev/sdf: 10.7GB Размер сектора (логический/физический): 512B/512B Таблица разделов: gpt Флаги диска: Номер Начало Конец Размер Файловая система Имя Флаги 1 1049kB 2097kB 1049kB Grub-Boot-Partition bios_grub 2 2097kB 136MB 134MB fat32 EFI-System-Partition boot, esp 3 136MB 10.7GB 10.6GB zfs PVE-ZFS-Partition Модель: Unknown (unknown) Диск /dev/zd0: 1208MB Размер сектора (логический/физический): 512B/4096B Таблица разделов: loop Флаги диска: Номер Начало Конец Размер Файловая система Флаги 1 0.00B 1208MB 1208MB linux-swap(v1) Код: pool: rpool состояние: ONLINE сканирование: не запрашивалось конфигурация: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 sda3 ONLINE 0 0 0 sdb3 ONLINE 0 0 0 sdc3 ONLINE 0 0 0 sdd3 ONLINE 0 0 0 sde3 ONLINE 0 0 0 sdf3 ONLINE 0 0 0 Ошибок: Известных ошибок данных нет.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры