+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Добавление iSCSI-хранилища в кластер с высокой доступностью (HA), Proxmox Виртуальная Среда

curlingcanteen

Guest

30.09.2014 22:27:00

У меня есть три сервера с настроенным и протестированным fencing через командную строку (не уверен, возможно ли протестировать это через Proxmox). Каждый из них подключён к LUN на 1 ТБ по iSCSI с использованием multipath. Я вручную создал volume group на моём multipathed устройстве:

Код:
gdisk /dev/dm-3
pvcreate /dev/dm-3
vgcreate vmdisks /dev/dm-3

Затем я добавил iSCSI-устройство через GUI и создал volume group с таким же именем [vmdisks], следуя этому гайду. Диск отображается как доступный на каждом узле, но я не понимаю, как получить доступ к этому хранилищу через GUI.

Если я пытаюсь создать новый контейнер VZ, меня пропускает только выбор Local storage. Как мне переместить диск в общую (shared) память?

curlingcanteen

Guest

20.10.2014 20:17:00

Это сработало! Думаю, мне пришлось перезагрузить все узлы после добавления iSCSI-устройства. Ну да, это была моя первая оплошность. Мне быстро объяснили, что для контейнеров OpenVS нужен NFS. Верно, но так как это отказоустойчивое решение, то проверку этого эксперимента оставлю другим! Спасибо, что всё так доступно объяснил, Thorn!

ejc317

Guest

16.10.2014 18:36:00

Я могу помочь исправить это, но ты упускаешь суть. iSCSI — это блочное хранилище, а VZ требует обычное хранилище. Для iSCSI нужно создать iSCSI-устройство, затем поверх него создать LVM, но на таком хранилище ты не сможешь создавать виртуальные машины VZ.

curlingcanteen

Guest

16.10.2014 19:40:00

Спасибо за терпение, ejc. Я понимаю, что упускаю суть, поэтому и прошу помощи. Теперь я понял, что мне нужен NFS для хранения CT, и что добавлять ВМ можно только в LVM, поэтому я и нажал "Create VM", а не "Create CT". Думаю, мой вопрос в том, как сделать LVM доступным для хранения ВМ? Это нормально, что у меня нет заранее заполненного выпадающего списка, как показано на картинке в прошлом сообщении? Или у меня может быть ошибка в конфигурации iSCSI / LVM?

c4rdinal Guest	#5 0 17.10.2014 04:44:00 Вам нужно разбить LVM на разделы и создать файловую систему, например ext4, xfs и т.д., прежде чем добавлять этот диск в виртуальную машину. Надеюсь, это поможет.

curlingcanteen

Guest

17.10.2014 22:16:00

Ну вот это запутанно. В вики Proxmox явно написано:

Так что твой комментарий про ручное форматирование раздела вызывает вопросы. Шаги действительно такие:
Создать LUN на SAN
Добавить iSCSI через веб-интерфейс Prox: iSCSI_LVM Все узлы, Включено [y], Использовать LUN напрямую [n]
Перейти в командную строку и сделать разметку, LVM и форматирование диска:
gdisk /dev/sde # тип=8e00
pvcreate /dev/dm-4 # где dm-4 — новый номер раздела
vgcreate VolGrp /dev/dm-4
lvcreate -n LogicalGrp -l 100%FREE VolGrp
mkfs.ext4 /dev/VolGrp/LogicalGrp

Потом снова в веб-интерфейсе Prox добавить LVM том:
ID: ProxLogVol
Базовое хранилище: выбрать (iSCSI) из списка
Базовый том: выбрать из списка
Группа томов: ProxLogVol_Grp
Все узлы, Включено [y], Общий [y]

Создавать ВМ с дисками на LVM хранилище.

Если да, то на шаге №4 у меня выскакивает такая ошибка: я не монтировал новый ext4, хотя перезагружал несколько узлов, чтобы ядро увидело новый раздел.

rustybutt

Guest

18.10.2014 01:03:00

У меня примерно такая же ситуация, как и у curlingcanteen. Мой iSCSI-сервер работает на Ubuntu 14.04 с установленным open-iscsi. Локально на сервере у меня есть хранилище ZFS, на котором я создал пару raw-блочных устройств, пометив их как iSCSI-таргеты.
На iSCSI-сервере:
# zfs create -V 10G Performance/ubuntu1
# zfs create -V 200G Performance/pvol-test
# ls -l /dev/zvol/Performance/pvol-test
lrwxrwxrwx 1 root root 10 Oct 17 22:37 /dev/zvol/Performance/pvol-test -> ../../zd16
# ls -l /dev/zvol/Performance/ubuntu1
lrwxrwxrwx 1 root root 9 Oct 17 22:37 /dev/zvol/Performance/ubuntu1 -> ../../zd0
# cat /etc/iet/ietd.conf
Target iqn.2014-10.com.motel.notell:ubuntu1
IncomingUser proxmox dievmwaredie!
OutgoingUser
Lun 0 Path=/dev/zvol/Performance/ubuntu1,Type=fileio Alias ubuntu1
Target iqn.2014-10.com.motel.notell:vol-test
IncomingUser proxmox dievmwaredie!
OutgoingUser
Lun 1 Path=/dev/zvol/Performance/pvol-test,Type=fileio Alias pvol-test

И затем, как и curlingcanteen, с помощью GUI я добавил iSCSI-таргеты в мой кластер Proxmox 4. По инструкции я не ставил галочку «Use LUNs directly». Но при попытке использовать GUI для «Add: LVM» ничего не выходит.

curlingcanteen Guest	#8 0 18.10.2014 11:34:00 Извини, что не могу тебе помочь, но огромное спасибо, что поделился своим опытом! Я уже начал всерьёз сомневаться в себе из-за всех этих проблем. Отправлено с моего HTC Glacier через Tapatalk 2

curlingcanteen Guest	#9 0 18.10.2014 11:38:00 О, и мне очень нравится твой ник. Ты используешь его везде или это случайный удачный выбор генератора никнеймов? Отправлено с моего HTC Glacier через Tapatalk 2

rustybutt

Guest

#10

19.10.2014 23:19:00

На самом деле я везде использую "rustybutt". Это прозвище, которое мне дал друг много лет назад, ведь моё настоящее имя — Russ Button. Никогда не думал, что кому-то оно вообще понравится. Надо как-то разобраться с этой проблемой, иначе Proxmox никогда не запустится в моей компании. Хотелось бы думать, что это настоящий убийца VMware, но сейчас он больше похож на больную собаку, которая ждёт своей смерти.

mir Guest	#11 0 19.10.2014 23:25:00 Если вы используете ZFS, почему бы не воспользоваться встроенной поддержкой ZFS в Proxmox? Смотрите: http://pve.proxmox.com/wiki/Storage:_ZFS

Thorn Guest	#12 0 20.10.2014 16:25:00 Я относительно новичок в этой теме, но, насколько я понял, совсем не обязательно уходить в командную строку, если хочешь использовать свой iSCSI-таргет как блочное хранилище (только для виртуалок). iSCSI в Proxmox: Выпадающее меню (вкладка Storage, кнопка Add) — Add iSCSI. Выбираешь портал, таргет, без ограничений по нодам, ставишь галочку Enable, убираешь Use LUN directly. iSCSI с LVM: Всё то же выпадающее меню, Add LVM. Выбираешь ранее добавленный iSCSI-таргет как Base Storage, LUN, задаёшь имя VG, без ограничений по нодам, ставишь Enable, shared. Теперь ты должен смочь создавать ВМ на этом хранилище без дополнительной настройки (форматировать не нужно). Но учти, что это работает только для виртуалок, а не для контейнеров. Также помни, что формат диска у ВМ будет raw. Насколько я понял, исходный вопрос был в том, как использовать iSCSI и LVM для хранения CT? Я понимаю проблему с блочным устройством против файлового хранилища, и предложенное решение — выполнить вышеописанные шаги, но без создания виртуалки, а вместо этого создать LV поверх VG, примонтировать его куда-нибудь (через /etc/fstab) и отформатировать файловой системой. Потом добавить это как директорию через то же выпадающее меню, где добавляются iSCSI и LVM. Однако я не знаю, будет ли такая схема работать в HA: в конце концов, монтируется на одной ноде, а потом раздается по кластеру. К тому же эту конфигурацию я ещё не тестировал.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры