+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Разметка диска ZFS для новой установки, Proxmox Виртуальная Среда

Shaun Hills

Guest

03.10.2016 14:26:00

Мы рассматриваем возможность новой установки Proxmox VE на уже имеющееся у нас оборудование. Машина — HP DL380 с 128 ГБ ОЗУ. В ней установлены три 1,8 ТБ SAS-диска и пять 280 ГБ SAS-дисков. Есть аппаратный RAID-контроллер HP P440 Smart Array, хотя использовать его необязательно. Сейчас машина используется, поэтому просто "потыкать" нельзя — нужно немного спланировать.

Хотелось бы применить ZFS для хранения виртуальных машин, если это возможно, из-за надежности и гибкости. Нам также нужна надежность для хостовой ОС Proxmox, но при необходимости это можно реализовать с помощью традиционного (например, аппаратного) RAID.

Ограничения: сейчас добавить новые диски нельзя, хотя, возможно, в будущем получится. К тому же у нас нет легкого доступа к дата-центру — договориться о визите может занять несколько недель.

Возможно и оправдано ли такое решение:
— Перевести RAID-контроллер в режим (в идеале) HBA или (иначе) JBOD;
— Создать ZFS-пул /zfs с тремя зеркальными vdev-ами: два из 2×280 ГБ и один из 2×1,8 ТБ;
— Один 1,8 ТБ и один 280 ГБ диск оставить в резерве;
— Использовать ZFS-пул в качестве загрузочного тома и для хранения блоков ВМ.

Я понимаю, что vdev-ы разного размера — не очень хорошо. Возможно, позже мы заменим 280 ГБ диски и тогда увеличим размер vdev-ов. Хотелось бы всегда иметь хотя бы один запасной диск из-за времени, которое уходит на доступ к серверу.

Буду рад любым комментариям.

Shaun Hills

Guest

21.11.2016 17:02:00

Обновление: с P440ar в режиме HBA у нас не очень получилось. В HP Smart Storage Administrator его легко перевести в режим HBA, и Debian/Proxmox VE видят диски во время установки. Но спустя день попыток я так и не смог настроить загрузку после установки. Сначала пробовали с ZFS, потом с mdadm RAID1. Но загрузка отлично работает, если ОС стоит на железном RAID1, так что сейчас так и сделали. К сожалению, с P440ar режим HBA — это «всё или ничего»: либо все диски в RAID, либо все в HBA. Идеально было бы иметь контроллер, который поддерживает hardware RAID1 для ОС и при этом даёт прямой доступ к дискам для хранилища, или, возможно, два контроллера. Теперь, когда система запущена, я по-другому смотрю на ZFS. Придётся использовать RAID0 для всех дисков в пуле — это не лучший вариант. Возможно, лучше создать ещё пару hardware RAID1, объединить их в volume group и использовать LVM-thin на обоих устройствах. Есть мысли на этот счёт? Или вообще по сравнению LVM-thin и ZFS?

LnxBil

Guest

01.12.2016 09:46:00

В зависимости от системы, мы используем обычный Pxxx для двух локальных дисков и MSA60 для внешнего ZFS на IT-HBA-контроллере — или используем только IT-HBA для всех дисков с ZFS и устанавливаем систему напрямую на неё. Мы заменили весь ZFS с «умных» RAID-контроллеров на «примитивные». Помимо большого прогресса с LVM-thin, я всегда выберу ZFS.

Shaun Hills

Guest

02.12.2016 12:08:00

Мы надеялись использовать только режим HBA контроллера P440ar Smart Array для всех дисков. К сожалению, сервер не смог загрузиться. Мы пытались загрузиться с mdadm RAID1 (для отказоустойчивости) через UEFI — это не самая простая, распространённая или хорошо отлаженная конфигурация, так что, возможно, проблема не в контроллере, а мы что-то сделали не так. Пока что используем ZFS поверх аппаратных RAID0 томов. Возможно, в следующем году будем обновлять железо. Поэтому я собираюсь посмотреть, как можно оставить P440ar для RAID1 с ОС/загрузочным томом и добавить контроллер HBA для дата-дисков. Похоже, это будет самый простой вариант.

LnxBil

Guest

02.12.2016 12:46:00

Раньше я тоже пытался настроить такую схему с адаптерами HP (старые модели, P400, P410), но RAID0 не подходит для ZFS. На некоторых моих системах есть мини-раздел mdadm (4 ГБ) для Proxmox VE, а остальное находится в пуле ZFS. Это работает нормально (хотя официально такая система не поддерживается).

Shaun Hills Guest	#6 0 02.12.2016 13:08:00 Вы когда-нибудь настраивали mdadm с адаптером HP в режиме HBA? Установщик Debian даже видел диски, но после завершения установки система просто не загружалась. Очень раздражает.

LnxBil

Guest

02.12.2016 13:13:00

Нет, я думал, что с HBA для Pxxx вообще ничего не работало правильно. Я пробовал один раз и тоже ничего не увидел. Поэтому мне пришлось использовать тот же трюк с raid0-томом, который ты описал, но с ZFS я его никогда не применял. В итоге я просто купил IT-прошитый «тупой» контроллер и больше не заморачивался. Стоил он меньше 100 баксов.

LnxBil Guest	#8 0 02.12.2016 13:14:00 О, учти лимит в 2 ТБ на старых контроллерах. Я купил по два раза

Bart Brouwer Guest	#9 0 02.11.2017 08:22:00 Привет! У меня такая же конфигурация (gen9, p440ar, proxmox 5). У меня в p440ar для proxmox стоит 2 SAS-диска (raid1) с файловой системой ext4. ZFS — 3 SATA-диска на встроенном RAID-контроллере (подключены по ACHI) плюс SSD на 256 ГБ для кэша. Всё работает быстро.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры