Аспро: ЛайтШоп [тема: [SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux]

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Tue, 01 Apr 2014 12:07:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux Спасибо, mir, за помощь. Это сработало.
01.04.2014 12:07:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Tue, 01 Apr 2014 10:24:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Вы вручную меняли файл ietd.conf, удалив ссылку на таргет. Поэтому плагин ZFS не может распарсить вашу конфигурацию и не находит ваши LUN’ы.

Код:

Чтобы исправить проблему, замените эту строку:
#QueuedCommands 32 # Number of queued commands
Lun 0 Path=/dev/elastics/vm-127-disk-1,Type=blockio
Lun 0 Path=/dev/elastics/vm-127-disk-1,Type=blockio

на эту строку:
#QueuedCommands 32 # Number of queued commands
Target iqn.2001-04.tr.edu.artvin:elastics
Lun 0 Path=/dev/elastics/vm-127-disk-1,Type=blockio

После изменения файла выполните:
service iscsitarget restart

Плагин использует команды ietadm для внесения изменений в реальном времени, без необходимости перезапуска ietd.
Файл /etc/iet/ietd.conf служит для сохранения изменений, сделанных через ietadm, так как изменения, внесённые напрямую командами ietadm, не сохраняются после перезапуска ietd (или перезагрузки системы).
01.04.2014 10:24:00, mir.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Tue, 01 Apr 2014 07:40:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 ZFS с Zfs-on-Linux на Debian Wheezy выдает такие ошибки:
Код:
/etc/ssh/sshd_config: строка 89: Неправильный параметр конфигурации: LookupClientHostnames
/etc/ssh/sshd_config строка 90: Устаревшая опция VerifyReverseMapping

Без этих двух опций всё работает. Я настроил ssh ключи. Как я и говорил, создание диска работает, значит проблем с ssh конфигурацией быть не должно?

Вот мой storage.cfg:
Код:
zfs: zfsonlinux
blocksize 4k
target iqn.2001-04.tr.edu.artvin:elastics
pool elastics
iscsiprovider iet
portal xxx.xxx.xxx.xxx
content images

Я вообще не понимаю, как именно работает этот плагин. Он использует команды "ietadm" через ssh или читает файл "/etc/iet/ietd.conf"?

Я добавил строку "Target iqn.2001-04.tr.edu.artvin:elastics" в конец "/etc/iet/ietd.conf". Потом перезапустил iscsi сервис, появился таргет с tid:1.

Код:
root@graylog2:~# cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.tr.edu.artvin:elastics

Затем добавил жесткий диск через GUI Proxmox на это ZFS хранилище, и LUN с ZFS zvol создались успешно:

Код:
root@graylog2:~# cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.tr.edu.artvin:elastics
lun:0 state:0 iotype:blockio iomode:wt blocks:35651584 blocksize:512 path:/dev/elastics/vm-127-disk-1

root@graylog2:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
elastics/vm-127-disk-1 18.1G 8.17T 72K -

Но проблема в том, что при запуске ВМ появляется ошибка "Could not find lu_name for zvol vm-127-disk-1". И когда я смотрю файл "/etc/iet/ietd.conf" после создания первого диска, он изменён: строка, которую я добавил ("Target iqn.2001-04.tr.edu.artvin:elastics"), удалена, и добавлена новая строка, которая закомментирована:

Код:
#QueuedCommands 32 # Number of queued commands
Lun 0 Path=/dev/elastics/vm-127-disk-1,Type=blockio
Lun 0 Path=/dev/elastics/vm-127-disk-1,Type=blockio

Почему моя конфигурация ietd стирается? При таком изменении, если перезапустить iscsi сервис, все таргеты и настройки LUN пропадают.

Мог бы кто-нибудь поделиться своим storage.cfg и ietd.conf, где диск ВМ уже создан?
01.04.2014 07:40:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Tue, 01 Apr 2014 00:47:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Я сделал чистую установку Debian Wheezy с zfsonlinux, чтобы быть абсолютно уверенным в чистой инсталляции. Мне не удалось воспроизвести ваши проблемы. Однако, если я указываю неверное имя цели или пула в storage.cfg, появляется ошибка, похожая на вашу. Поэтому вам следует внимательно проверить свой storage.cfg и убедиться, что имена цели и пула точно совпадают с вашим хранилищем.
01.04.2014 00:47:00, mir.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 19:35:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: PVE 3.2 плагин ZFS с Zfs-on-Linux

Ты точно выполнил всё как написано?

Платформенные заметки
На всех хранилищах в sshd_config нужно добавить следующее:
LookupClientHostnames no
VerifyReverseMapping no
GSSAPIAuthentication no

После libpve-storage-perl-3.0-18 нужно использовать следующую процедуру. Для всех платформ хранения ключ ssh root’а распространяется через кластерную файловую систему Proxmox, поэтому необходимо создать папку: /etc/pve/priv/zfs.

В эту папку кладёшь ssh-ключ для каждого ZFS-хранилища, а имя ключа формируется по схеме: _id_rsa.

Portal указывается в поле portal в GUI-мастере, так что если ZFS-хранилище обращается по IP 192.168.1.1, то в поле portal вводится именно этот IP, и ключ будет называться: 192.168.1.1_id_rsa.

Создать ключ просто. Под root’ом делай так:
mkdir /etc/pve/priv/zfs
ssh-keygen -f /etc/pve/priv/zfs/192.168.1.1_id_rsa
ssh-copy-id -i /etc/pve/priv/zfs/192.168.1.1_id_rsa root@192.168.1.1

Для проверки:
ssh -i /etc/pve/priv/zfs/192.168.1.1_id_rsa root@192.168.1.1

Если зашёл без ошибок — значит хранилище готово к работе.

Создавать ключ нужно только один раз для каждого portal, так что если у одного и того же portal используется несколько целей или хранилищ в Proxmox — ключ всё равно будет один.
31.03.2014 19:35:00, mir.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 15:45:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Поспешил с выводами. Я остановил виртуальную машину, а теперь не могу её запустить:

Код:
Mar 31 16:20:33 kvm47 pvedaemon[32088]: Не удалось найти lu_name для zvol vm-127-disk-1 в /usr/share/perl5/PVE/Storage/ZFSPlugin.pm строка 195.
Mar 31 16:20:33 kvm47 pvedaemon[29710]: завершил задачу UPID:kvm47:00007D58:0968E252:53396BA1:qmstart:127:rduran@acu: Не удалось найти lu_name для zvol vm-127-disk-1 в /usr/share/perl5/PVE/Storage/ZFSPlugin.pm строка 195. Похоже, lu_name не работает.

Вот вывод zfs list и iSCSI тома:

Код:
root@graylog2:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
elastics 791G 8.15T 466G /elastics
elastics/backup 287G 8.15T 287G /backup
elastics/logs 19.1G 8.15T 19.1G /logs
elastics/mrtg 10.3M 8.15T 10.3M /mrtg
elastics/vm-127-disk-1 19.1G 8.17T 72K -

Код:
root@graylog2:~# cat /proc/net/iet/volume
tid:1 name:iqn.2001-04.tr.edu.artvin:elastics
lun:0 state:0 iotype:blockio iomode:wt blocks:37748736 blocksize:512 path:/dev/elastics/vm-127-disk-1
31.03.2014 15:45:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 12:42:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: PVE 3.2 плагин ZFS с Zfs-on-Linux

Вот дурак я. Цель была закомментирована в ietd.conf. Извиняюсь за шум.
31.03.2014 12:42:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 09:46:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: PVE 3.2 плагин ZFS с Zfs-on-Linux

Да,

Код:
root@graylog2:~# dpkg -s iscsitarget
Package: iscsitarget
Status: install ok installed
Priority: optional
Section: net
Installed-Size: 201
Maintainer: Debian iSCSI Maintainers
Architecture: amd64
Version: 1.4.20.2-10.1
Depends: libc6 (>= 2.4), procps, lsb-base (>= 3.2-14)
Recommends: iscsitarget-module
Suggests: iscsitarget-dkms
Conflicts: iscsitarget-source
Conffiles:
/etc/init.d/iscsitarget e5bc255cd838d1af59bd18b20edf7933
/etc/default/iscsitarget 4f8c844068b8099cf961221641f3f321
/etc/iet/initiators.allow 3ce3bc152af1e9949f4cb123798e0afd
/etc/iet/ietd.conf a9a651c3223062f28f692b05dae37483
/etc/iet/targets.allow 58f71f4c9349f35ec89b80286b256cba
Description:
Инструменты пользовательского пространства для iSCSI Enterprise Target
iSCSI Enterprise Target предназначен для построения iSCSI-системы хранения на Linux. Он рассчитан на создание iSCSI-таргета, отвечающего требованиям корпоративного уровня.
.
В этот пакет входит пользовательская часть; для правильной работы требуется модуль ядра.
Homepage: http://iscsitarget.sourceforge.net/

root@graylog2:~# dpkg -s iscsitarget-dkms
Package: iscsitarget-dkms
Status: install ok installed
Priority: optional
Section: net
Installed-Size: 299
Maintainer: Debian iSCSI Maintainers
Architecture: all
Source: iscsitarget
Version: 1.4.20.2-10.1
Depends: dkms (>= 1.95), make
Recommends: linux-headers
Conflicts: iscsitarget-source
Description:
Исходники модуля ядра iSCSI Enterprise Target — версия для dkms
iSCSI Enterprise Target предназначен для построения iSCSI-системы хранения на Linux. Он рассчитан на создание iSCSI-таргета, отвечающего требованиям корпоративного уровня.
.
Этот пакет содержит исходники модуля ядра iscsitarget.
Также для использования этого модуля требуется пакет iscsitarget. Для сборки модуля необходимы исходники ядра или заголовочные файлы.
.
Этот пакет предназначен для сборки с помощью dkms.
Homepage: http://iscsitarget.sourceforge.net/

Как я писал в первом сообщении, ietd выдает эту ошибку, когда я пытаюсь добавить диск через GUI Proxmox:

Код:
Mar 13 09:39:18 graylog2 kernel: [2504456.932896] zd80: неизвестная таблица разделов
Mar 13 09:39:19 graylog2 ietd: невозможно создать логическую единицу 0 в таргете 0: 2
31.03.2014 09:46:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 09:07:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: PVE 3.2 плагин ZFS с Zfs-on-Linux У вас установлен пакет iscsitarget? dpkg -s iscsitarget dpkg -s iscsitarget-dkms
31.03.2014 09:07:00, mir.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Mon, 31 Mar 2014 07:36:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: PVE 3.2 плагин ZFS с Zfs-on-Linux

Привет, команда cat /proc/net/iet/volume ничего не выводит. Debian обновлён до wheezy, а zfsonlinux версии 0.6.2-4~wheezy. Ядро — Linux graylog2 3.2.0-4-amd64 #1 SMP Debian 3.2.54-2 x86_64 GNU/Linux.
31.03.2014 07:36:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Sat, 29 Mar 2014 13:42:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux Что выведет следующая команда на сервере с установленным zfsonlinux? cat /proc/net/iet/volume Какая версия Debian и ZFS? Какая версия ядра?
29.03.2014 13:42:00, mir.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Fri, 28 Mar 2014 08:51:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Re: Плагин PVE 3.2 для ZFS с Zfs-on-Linux Есть какие-нибудь советы по этому поводу?
28.03.2014 08:51:00, rahman.

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux

Thu, 13 Mar 2014 08:40:00 +0400

[SOLVED] Плагин PVE 3.2 для ZFS с Zfs-on-Linux Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня есть сервер на Debian с Zfs-on-Linux и IET iscsi. Я следовал вики. Вот storage.conf:

Code:
zfs: linux
blocksize 4k
target iqn.2001-04.tr.xxx.xxx:elastics
pool elastics
iscsiprovider iet
portal xxx.xxx.xxx.74
content images

И вывод zfs list на сервере хранения:

Code:
NAME USED AVAIL REFER MOUNTPOINT
elastics 782G 8.16T 318G /elastics
elastics/backup 286G 8.16T 286G /backup
elastics/logs 7.71G 8.16T 7.71G /logs
elastics/mrtg 10.3M 8.16T 10.3M /mrtg
elastics/vm-114-disk-1 34.0G 8.19T 72K -
elastics/vm-114-disk-2 34.0G 8.19T 72K -
elastics/vm-114-disk-3 34.0G 8.19T 72K -
elastics/vm-114-disk-4 34.0G 8.19T 72K -
elastics/vm-114-disk-5 34.0G 8.19T 72K -

Как видишь, когда я пытаюсь добавить диск на этот zfs storage, он создает zvol, но выдает ошибку про iscsi таргет:
No such file or directory. at /usr/share/perl5/PVE/Storage/LunCmd/Iet.pm line 376. (500)

Code:
Mar 13 09:38:15 kvm47 pvedaemon[4411]: update VM 114: -virtio1 linux:32
Mar 13 09:38:16 kvm47 pvedaemon[4411]: WARNING: Use of uninitialized value $tid in concatenation (.) or string at /usr/share/perl5/PVE/Storage/LunCmd/Iet.pm line 371.

А на сервере хранения вот логи ошибок:

Code:
Mar 13 09:39:18 graylog2 kernel: [2504456.932896] zd80: unknown partition table
Mar 13 09:39:19 graylog2 ietd: unable to create logical unit 0 in target 0: 2

Как я понимаю, он не может создать iscsi таргет на сервере хранения — как с этим решить проблему?
13.03.2014 08:40:00, rahman.