http://proxmox.su Новое в теме Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Tue, 16 Jun 2026 21:31:09 +0300 Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я относительно новичок в этой теме, но, насколько я понял, совсем не обязательно уходить в командную строку, если хочешь использовать свой iSCSI-таргет как блочное хранилище (только для виртуалок). iSCSI в Proxmox: Выпадающее меню (вкладка Storage, кнопка Add) — Add iSCSI. Выбираешь портал, таргет, без ограничений по нодам, ставишь галочку Enable, убираешь Use LUN directly.  

iSCSI с LVM: Всё то же выпадающее меню, Add LVM. Выбираешь ранее добавленный iSCSI-таргет как Base Storage, LUN, задаёшь имя VG, без ограничений по нодам, ставишь Enable, shared.  

Теперь ты должен смочь создавать ВМ на этом хранилище без дополнительной настройки (форматировать не нужно). Но учти, что это работает только для виртуалок, а не для контейнеров. Также помни, что формат диска у ВМ будет raw.  

Насколько я понял, исходный вопрос был в том, как использовать iSCSI и LVM для хранения CT? Я понимаю проблему с блочным устройством против файлового хранилища, и предложенное решение — выполнить вышеописанные шаги, но без создания виртуалки, а вместо этого создать LV поверх VG, примонтировать его куда-нибудь (через /etc/fstab) и отформатировать файловой системой. Потом добавить это как директорию через то же выпадающее меню, где добавляются iSCSI и LVM.  

Однако я не знаю, будет ли такая схема работать в HA: в конце концов, монтируется на одной ноде, а потом раздается по кластеру. К тому же эту конфигурацию я ещё не тестировал.
20.10.2014 16:25:00, Thorn.]]> http://proxmox.su/forum/messages/forum63/message339256/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339256/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Mon, 20 Oct 2014 16:25:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если вы используете ZFS, почему бы не воспользоваться встроенной поддержкой ZFS в Proxmox? Смотрите: http://pve.proxmox.com/wiki/Storage:_ZFS
19.10.2014 23:25:00, mir.]]> http://proxmox.su/forum/messages/forum63/message339255/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339255/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Sun, 19 Oct 2014 23:25:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На самом деле я везде использую "rustybutt". Это прозвище, которое мне дал друг много лет назад, ведь моё настоящее имя — Russ Button. Никогда не думал, что кому-то оно вообще понравится. Надо как-то разобраться с этой проблемой, иначе Proxmox никогда не запустится в моей компании. Хотелось бы думать, что это настоящий убийца VMware, но сейчас он больше похож на больную собаку, которая ждёт своей смерти.
19.10.2014 23:19:00, rustybutt.]]> http://proxmox.su/forum/messages/forum63/message339254/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339254/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Sun, 19 Oct 2014 23:19:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
О, и мне очень нравится твой ник. Ты используешь его везде или это случайный удачный выбор генератора никнеймов? Отправлено с моего HTC Glacier через Tapatalk 2
18.10.2014 11:38:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339253/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339253/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Sat, 18 Oct 2014 11:38:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, что не могу тебе помочь, но огромное спасибо, что поделился своим опытом! Я уже начал всерьёз сомневаться в себе из-за всех этих проблем. Отправлено с моего HTC Glacier через Tapatalk 2
18.10.2014 11:34:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339252/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339252/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Sat, 18 Oct 2014 11:34:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня примерно такая же ситуация, как и у curlingcanteen. Мой iSCSI-сервер работает на Ubuntu 14.04 с установленным open-iscsi. Локально на сервере у меня есть хранилище ZFS, на котором я создал пару raw-блочных устройств, пометив их как iSCSI-таргеты.  
На iSCSI-сервере:  
# zfs create -V 10G Performance/ubuntu1  
# zfs create -V 200G Performance/pvol-test  
# ls -l /dev/zvol/Performance/pvol-test  
lrwxrwxrwx 1 root root 10 Oct 17 22:37 /dev/zvol/Performance/pvol-test -> ../../zd16  
# ls -l /dev/zvol/Performance/ubuntu1  
lrwxrwxrwx 1 root root 9 Oct 17 22:37 /dev/zvol/Performance/ubuntu1 -> ../../zd0  
# cat /etc/iet/ietd.conf  
Target iqn.2014-10.com.motel.notell:ubuntu1  
IncomingUser proxmox  dievmwaredie!  
OutgoingUser  
Lun 0 Path=/dev/zvol/Performance/ubuntu1,Type=fileio Alias ubuntu1  
Target iqn.2014-10.com.motel.notell:vol-test  
IncomingUser proxmox  dievmwaredie!  
OutgoingUser  
Lun 1 Path=/dev/zvol/Performance/pvol-test,Type=fileio Alias pvol-test  

И затем, как и curlingcanteen, с помощью GUI я добавил iSCSI-таргеты в мой кластер Proxmox 4. По инструкции я не ставил галочку «Use LUNs directly». Но при попытке использовать GUI для «Add: LVM» ничего не выходит.
18.10.2014 01:03:00, rustybutt.]]> http://proxmox.su/forum/messages/forum63/message339251/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339251/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Sat, 18 Oct 2014 01:03:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну вот это запутанно. В вики Proxmox явно написано:

Так что твой комментарий про ручное форматирование раздела вызывает вопросы. Шаги действительно такие:  
Создать LUN на SAN  
Добавить iSCSI через веб-интерфейс Prox: iSCSI_LVM Все узлы, Включено [y], Использовать LUN напрямую [n]
Перейти в командную строку и сделать разметку, LVM и форматирование диска:  
gdisk /dev/sde # тип=8e00  
pvcreate /dev/dm-4 # где dm-4 — новый номер раздела  
vgcreate VolGrp /dev/dm-4  
lvcreate -n LogicalGrp -l 100%FREE VolGrp  
mkfs.ext4 /dev/VolGrp/LogicalGrp  

Потом снова в веб-интерфейсе Prox добавить LVM том:  
ID: ProxLogVol  
Базовое хранилище: выбрать (iSCSI) из списка  
Базовый том: выбрать из списка  
Группа томов: ProxLogVol_Grp  
Все узлы, Включено [y], Общий [y]

Создавать ВМ с дисками на LVM хранилище.  

Если да, то на шаге №4 у меня выскакивает такая ошибка: я не монтировал новый ext4, хотя перезагружал несколько узлов, чтобы ядро увидело новый раздел.
17.10.2014 22:16:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339250/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339250/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Fri, 17 Oct 2014 22:16:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вам нужно разбить LVM на разделы и создать файловую систему, например ext4, xfs и т.д., прежде чем добавлять этот диск в виртуальную машину. Надеюсь, это поможет.
17.10.2014 04:44:00, c4rdinal.]]> http://proxmox.su/forum/messages/forum63/message339249/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339249/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Fri, 17 Oct 2014 04:44:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за терпение, ejc. Я понимаю, что упускаю суть, поэтому и прошу помощи. Теперь я понял, что мне нужен NFS для хранения CT, и что добавлять ВМ можно только в LVM, поэтому я и нажал "Create VM", а не "Create CT". Думаю, мой вопрос в том, как сделать LVM доступным для хранения ВМ? Это нормально, что у меня нет заранее заполненного выпадающего списка, как показано на картинке в прошлом сообщении? Или у меня может быть ошибка в конфигурации iSCSI / LVM?
16.10.2014 19:40:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339248/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339248/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Thu, 16 Oct 2014 19:40:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я могу помочь исправить это, но ты упускаешь суть. iSCSI — это блочное хранилище, а VZ требует обычное хранилище. Для iSCSI нужно создать iSCSI-устройство, затем поверх него создать LVM, но на таком хранилище ты не сможешь создавать виртуальные машины VZ.
16.10.2014 18:36:00, ejc317.]]> http://proxmox.su/forum/messages/forum63/message339247/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339247/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Thu, 16 Oct 2014 18:36:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это сработало! Думаю, мне пришлось перезагрузить все узлы после добавления iSCSI-устройства. Ну да, это была моя первая оплошность. Мне быстро объяснили, что для контейнеров OpenVS нужен NFS. Верно, но так как это отказоустойчивое решение, то проверку этого эксперимента оставлю другим! Спасибо, что всё так доступно объяснил, Thorn!
20.10.2014 20:17:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339246/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339246/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Mon, 20 Oct 2014 20:17:00 +0400 Proxmox Виртуальная Среда Добавление iSCSI-хранилища в кластер с высокой доступностью (HA) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня есть три сервера с настроенным и протестированным fencing через командную строку (не уверен, возможно ли протестировать это через Proxmox). Каждый из них подключён к LUN на 1 ТБ по iSCSI с использованием multipath. Я вручную создал volume group на моём multipathed устройстве:

Код:
gdisk /dev/dm-3  
pvcreate /dev/dm-3  
vgcreate vmdisks /dev/dm-3

Затем я добавил iSCSI-устройство через GUI и создал volume group с таким же именем [vmdisks], следуя этому гайду. Диск отображается как доступный на каждом узле, но я не понимаю, как получить доступ к этому хранилищу через GUI.

Если я пытаюсь создать новый контейнер VZ, меня пропускает только выбор Local storage. Как мне переместить диск в общую (shared) память?
30.09.2014 22:27:00, curlingcanteen.]]> http://proxmox.su/forum/messages/forum63/message339245/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha http://proxmox.su/forum/messages/forum63/message339245/79552-dobavlenie-iscsi_khranilishcha-v-klaster-s-vysokoy-dostupnostyu-_ha Tue, 30 Sep 2014 22:27:00 +0400 Proxmox Виртуальная Среда