Аспро: ЛайтШоп [тема: [ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.]

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Wed, 11 May 2022 14:18:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как мне установить опцию ядра iscsi_auto? Я вставил её в grub?

Редактирую: Установка прошла успешно, но загрузка с ISCSI не получается. Выдаёт ошибку: Code: Acquiring DHP parameters for interface (XX) ... Succeeded
[iBoot-09]: No Target Information. У меня такая конфигурация на моём R620 с Broadcom 5720 (IP: 192.168.10.8; настроено статически через dhcp на моём роутере): Code: boot protocol iscsi
boot strap type auto
hide setup prompt disabled, ctrl-s, 5 seconds
link speed autoneg
preboot wake on lan disabled
vlan mode disabled
vlan id 1
blink leds not blinking

Под iscsi boot, общие параметры у меня:

tcp/ip param via dhcp enabled
iscsi param via dhcp enabled
chap auth disabled
boot to iscsi target enabled
dhcp vendor blank
link up delay 30
use tcp timestamp enabled
target as first hdd enabled
lun busy retry count 5
ip version ipv4

Под Initiator parameters у меня всё установлено в 0.0.0.0 или пусто, кроме:
ISCSI name: iqn.1995-05.com.broadcom.iscsiboot

Параметры первого таргет:
Connect: Enabled
IP Address: 192.168.10.5 (IP von Truenas Scale)
TCP Port: 3260
Boot LUN: 0
ISCSI Name: iqn.2012-01.com.dell:target1 Это моя ISCSI-Share на TrueNas Scale: Code: IP: 192.168.10.5
Basename ISCSI: iqn.2012-01.com.dell
Portal Group ID: 1
Initiators Group ID: 3
target name: target1
LUN ID: 0 Какие идеи, что не так?

Редактирую: Это была настройка dhcp. Я указал IP-адрес в сетевом адаптере Broadcom, и теперь всё работает.
11.05.2022 14:18:00, MisterY.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Fri, 06 May 2022 19:04:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Огромное спасибо, заработало как по волшебству с первого раза!! Я только поменял iscsistart на iscsiadm, чтобы получить мои LUNs с Compellent SAN.
06.05.2022 19:04:00, backslash.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sat, 26 Mar 2022 09:05:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за туториал, но я столкнулся с той же проблемой: ошибка ввода-вывода blk_update_request. Использую gpxelinux.0 в syslinux с tftp-сервером для загрузки по iSCSI, потому что не могу скомпилировать ipxe для моего роутера arm64. Не знаю, связано ли это с проблемой.

Насчет шага 12: у меня только один сетевой интерфейс, как мне настроить другой, а не тот, который подключен к iSCSI (enp2s0)?

Насчет шага 13: я использую USB для установки PVE, мне вытащить его при перезагрузке или воткнуть? Если воткнуть, то консоль появится как в шагах 4-6? Спасибо.
26.03.2022 09:05:00, Overmind.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Fri, 11 Mar 2022 05:53:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отличное решение, браво! Мучился с этим около недели, а потом наткнулся на эту тему. Сработало с первого раза. Но есть одна проблема. Когда включаю VLAN aware на vmbr0 (который содержит интерфейс, подключенный к iSCSI-таргету) и перезагружаю, система перестаёт загружаться, и начинаются ошибки ввода-вывода с iSCSI-блочного устройства. У кого-нибудь есть какие-нибудь идеи?
11.03.2022 05:53:00, tyami94.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 23:59:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Наконец-то удалось заставить это работать, поменяв пару вещей. Вместо "ISCSI_AUTO=true" в файле /etc/iscsi/iscsi.initramfs я установил параметр ядра iscsi_auto. Но перед тем, как выйти из chroot и запустить update-initramfs, я установил отсутствующую прошивку bnx2x, которую он выдавал. Теперь работает просто отлично!
06.03.2022 23:59:00, pefman.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 21:33:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Пытаюсь сейчас! Забыл, что пробовал в UEFI, сначала попробую в BIOS.
06.03.2022 21:33:00, pefman.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 20:56:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Согласно справке пакета open-iscsi, можно попробовать вручную заполнить учетные данные iSCSI в файле конфигурации. Bash: ISCSI_INITIATOR="iqn.1993-08.org.debian:01:9b3e5634fdb9"
ISCSI_TARGET_NAME=iqn.2008-01.com.example:storage.foo
ISCSI_TARGET_IP=192.168.1.1
ISCSI_TARGET_PORT=3160
ISCSI_USERNAME="username"
ISCSI_PASSWORD="password"
ISCSI_IN_USERNAME="in_username"
ISCSI_IN_PASSWORD="in_password"
ISCSI_TARGET_GROUP=1 Можно также попробовать добавить опцию в строку загрузки ядра: Bash: iscsi_auto
06.03.2022 20:56:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 19:59:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, сделал. Интересно, как работает iscsi_auto. Совместим ли он со всеми BIOS от сетевых карт? Можно ли как-то отлаживать в initramfs, чтобы понять, получил ли он детали?
06.03.2022 19:59:00, pefman.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 19:42:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Когда я использую ядро версии 5.13, я получаю ту же ошибку: "could not setup fw entries". Ты использовал ядро 5.15?
06.03.2022 19:42:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Sun, 06 Mar 2022 17:07:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Сегодня уже несколько раз пробовал, надеялся на успех. К сожалению, испытываю ту же проблему, что и другие. Iscsi boot работает, но как только начинается загрузка после grub, я получаю следующее. Использую Dell M420 с картами Qlogic 10GB mez. Может, это просто так, что ISCSI_AUTO=true не работает?
06.03.2022 17:07:00, pefman.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Wed, 02 Feb 2022 11:08:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Операционная система получает информацию iSCSI с помощью модуля ядра iscsi-ibft. Поэтому я добавил ISCSI_AUTO=true. В моем случае нет необходимости настраивать сетевую карту, после загрузки, когда я проверяю, она имеет тот же IP-адрес, что и тот, что я указал в ROM опции загрузки iSCSI.
02.02.2022 11:08:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Tue, 01 Feb 2022 15:15:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Ой, извини, не заметил. Я использовал ядро по умолчанию, 5.13. Думал, для твоей сетевой карты нужно 5.15. Сегодня попробую обновить ядро. И потом попробую загрузку из BIOS. Но я все еще не уверен, как ОС должна получать конфигурацию IP, чтобы iSCSI работал после загрузки. Нужно ли мне конфигурировать IP-адрес в `/etc/network/interfaces` перед перезагрузкой (в chroot)?
01.02.2022 15:15:00, Gudkoff.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Mon, 31 Jan 2022 23:40:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Как я написал в начале инструкции, я использую загрузку через BIOS, потому что мой адаптер не загружается в UEFI. Ты используешь ядро 5.15? (Когда я писал это сообщение, 5.13 не работает с iSCSI-загрузкой). Шестнадцатый шаг очень важен, и после него обязательно нужно обновить initramfs!
31.01.2022 23:40:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Mon, 31 Jan 2022 23:25:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отличный пост! Именно то, что я искал! Но у меня не получилось. Ты работаешь с настройками BIOS или UEFI? В итоге я загрузился с iscsi-таргета, но кажется, ip-конфигурация не передалась от UEFI в систему. Получаю: Код: Невозможно обработать группу томов pve
Группа томов "pve" не найдена

(initramfs) _
31.01.2022 23:25:00, Gudkoff.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Wed, 22 Dec 2021 12:29:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Наконец-то удалось загрузить pve. Debootstrap + пункты 16 и 17 из твоего гайда помогли. После этого решил попробовать снова свой метод с KVM и твоими пунктами 16 и 17, и это тоже сработало. Так что теперь у меня наконец-то обычный PVE через iSCSI. Единственная проблема, с которой я сейчас сталкиваюсь, это multipathing с загрузочным iSCSI-соединением.
22.12.2021 12:29:00, Ray_.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Tue, 21 Dec 2021 14:58:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, iscsiadm требует systemd, который не запущен при установке. Я честно говоря, уже не знаю, что посоветовать по твоему вопросу, расскажи, что получилось с debootstrap.
21.12.2021 14:58:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Tue, 21 Dec 2021 13:48:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, iSCSI соединение работает отлично, потому что я запускал ESXi на нем пару дней назад. Все диски находятся в Fujitsu Eternus Dx100 s3, и там всё отображается как нормально. Да. Поэтому я нахожу это крайне странным. Я уже использовал тот же метод для установки proxmox backup server на выделенный сервер Hetzner, и там всё работало отлично. Я также попробовал войти с помощью iscsiadm вместо iscsistart, но похоже, что сервис iscsid не полностью работает, так как я не могу получить соединение через него. Я собираюсь попробовать дебустроить Debian Bullseye на LUN, это единственное, чего я ещё не пробовал.
21.12.2021 13:48:00, Ray_.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Tue, 21 Dec 2021 13:12:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Вижу, у тебя та же проблема с Debian и Proxmox, возможно, стоит проверить подключение HDD/iSCSI. Какой файлер используешь? Ты делал S.M.A.R.T. тест на своих дисках? Ты в другом посте сказал, что это на том же LUN с тем же iSCSI подключением, как сейчас?
21.12.2021 13:12:00, deathblade.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Tue, 21 Dec 2021 11:07:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за этот туториал. Я попробовал установить pve по твоему способу, однако, когда установщик доходит до этапа "сделать систему загрузочной", он падает с ошибкой, так как не может смонтировать раздел. Если я пытаюсь смонтировать его вручную, он не может прочитать superblock pve-root (та же проблема, что и в моей другой теме: https://forum.proxmox.com/threads/grub-cant-find-volume-group-pve-on-iscsi-boot.101743/ )
{
"lightbox_close": "Close",
"lightbox_next": "Next",
"lightbox_previous": "Previous",
"lightbox_error": "The requested content cannot be loaded. Please try again later.",
"lightbox_start_slideshow": "Start slideshow",
"lightbox_stop_slideshow": "Stop slideshow",
"lightbox_full_screen": "Full screen",
"lightbox_thumbnails": "Thumbnails",
"lightbox_download": "Download",
"lightbox_share": "Share",
"lightbox_zoom": "Zoom",
"lightbox_new_window": "New window",
"lightbox_toggle_sidebar": "Toggle sidebar"
} У тебя есть какие-нибудь идеи, что могло быть причиной?
21.12.2021 11:07:00, Ray_.

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

Mon, 20 Dec 2021 17:45:00 +0300

[ТУТОРИАЛ] Установка PVE напрямую на iSCSI target. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Когда я увидел, что поддержка установки iSCSI с официального ISO вообще не планируется, я начал искать способы это реализовать. Я нашел обходной путь с официальным ISO PVE 7.1 и хочу поделиться, возможно, это кому-то поможет. Будет объяснен только обходной путь с iSCSI, я предполагаю, что вы знаете, как создать целевой ресурс на вашем хранилище и как настроить прошивку сетевого адаптера для загрузки. Этот туториал не использует iPXE или что-то подобное, поэтому это можно сделать только с CNA адаптером, поддерживающим iSCSI загрузку. Для справки, я использую Intel X520-DA2 CNA для этого туториала, который использует драйвер ixgbe, включенный в ядро PVE.

1. Создайте LUN и целевой ресурс на вашем хранилище.
2. Настройте IP/целевой адрес в прошивке CNA для загрузки.
3. Запишите ISO с [этой страницы](URL) на USB-накопитель и загрузите гипервизор с USB. (Лично я загружаюсь в режиме MBR, потому что у меня проблемы с UEFI с моим CNA).
4. Выберите второй вариант (Установить в режиме отладки).
5. Появляется первая консоль, в этот момент ресурсов нет, мы не можем работать здесь, поэтому вы можете нажать Ctrl+D, чтобы продолжить.
6. Появляется вторая консоль, теперь ресурсы смонтированы, и сеть доступна. Поехали!
7. В моем случае я использую generic SFP+ трансиверы, которые не поддерживаются модулем ixgbe, поэтому давайте скажем ему, что можно использовать эти. Если ваши SFP модули поддерживаются или вы не используете Intel 10Gb адаптер, вы можете пропустить этот шаг.
Bash: nano /etc/modprobe.d/ixgbe.conf
Добавьте на первой строке:
Code: options ixgbe allow_unsupported_sfp=1
Нажмите Ctrl+x, чтобы сохранить и закрыть.
Теперь перезапустите модуль ixgbe и ваши интерфейсы появятся:
Bash: rmmod ixgbe && modprobe ixgbe
Вы можете увидеть их с:
Bash: ip a
8. Настройте ваш интерфейс и IP-адрес.
Мой интерфейс - enp43s0f0, замените его своим. Сначала включите соединение:
Bash: ip link set enp43s0f0 up
Затем назначьте IP-адрес в той же подсети, что и ваш целевой:
Замените IP/CIDR своим.
Bash: ip addr add 192.168.100.101/24 dev enp43s0f0
Вы можете подтвердить, что все в порядке, с:
Code: ip a
Для проверки можете попробовать пинговать ваш целевой хост.
9. Установите open-iscsi в initramfs.
ВАЖНО: Мы находимся в initramfs установщика, поэтому все задачи, которые вы здесь выполняете, не будут сохранены и будут удалены, если вы выключите сервер или отмените установку.
Пакет open-iscsi на самом деле не установлен, но он включен для установки новой системы в /cdrom/debian/proxmox/packages/.
Если вы попытаетесь установить его сейчас, dpkg пожалуется, что отсутствуют две зависимости. Итак, давайте сначала установим их из той же директории.
Bash: dpkg -i /cdrom/debian/proxmox/packages/libisns0_0.100-3_adm64.deb
dpkg -i /cdrom/debian/proxmox/packages/libopeniscsiusr_2.1.3-5_adm64.deb
dpkg -i /cdrom/debian/proxmox/packages/open-iscsi_2.1.3-5_adm64.deb
Установка open-iscsi никогда не завершится, но это не важно, вы можете отменить ее с Ctrl+c.
10. Подключитесь к вашему целевому ресурсу.
Теперь мы можем использовать iscsistart для подключения к целевому ресурсу! Замените здесь идентификатором вашего целевого ресурса, а адресом целевого хоста.
Bash: iscsistart -i initiator_1 -t -g N -a
Если вы правильно настроили сетевой адаптер с правильным IP-адресом, ваш целевой ресурс теперь подключен и доступен установщику в качестве блочного устройства. Если целевой ресурс подключен, нам больше не нужна эта консоль. Вы можете закрыть ее с Ctrl+d.
11. Вернитесь к графическому интерфейсу.
Вы можете принять EULA и настроить жесткий диск и файловую систему.
12. Настройте часовой пояс/раскладку клавиатуры и ваш основной сетевой интерфейс (не используйте тот, который вы использовали для подключения к целевому ресурсу).
После этого не забудьте снять флажок автоматического перезапуска после установки, прежде чем нажать кнопку установки.
13. После завершения установки нажмите перезагрузку, и появится консоль. Нам нужно выполнить несколько небольших шагов здесь.
Нам нужно chroot внутри свежей системы.
Bash: mount /dev/pve/root /mnt
mount -o bind /dev /mnt/dev
mount -o bind /proc /mnt/proc
mount -o bind /sys /mnt/sys
Наконец, chroot внутрь /mnt:
Bash: chroot /mnt /bin/bash
14. Настройка списка источников apt.
Если у вас нет ключа подписки, вы можете удалить корпоративный репозиторий.
Bash: rm /etc/apt/sources.list.d/pve-entreprise.list
И добавьте no-subscription в sources.list:
Bash: nano /etc/apt/sources.list
Добавьте в конец:
Code: # PVE repository
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription
Сохраните и закройте с Ctrl+x.
Обновите списки пакетов:
Для следующих шагов вам нужен доступ к интернету, вам нужно настроить один из ваших интерфейсов вручную, если у вас нет DHCP.
Bash: apt update
ВНИМАНИЕ: Не пытайтесь выполнить apt upgrade, он не удастся, потому что реальная система не работает. Дождитесь перезагрузки, чтобы выполнить ее.
15. Настройка grub.
Этот шаг для unsupported SFP модулей с ixgbe, вы можете пропустить его, если вас это не касается.
Bash: nano /etc/default/grub
Найдите строку GRUB_CMDLINE_LINUX="" и измените ее следующим образом:
Code: GRUB_CMDLINE_LINUX="ixgbe.allow_unsupported_sfp=1"
Сохраните и закройте с Ctrl+x.
16. Настройка iSCSI загрузки.
Модуль iscsi_ibft можно использовать при загрузке для получения настроек целевого ресурса из прошивки CNA автоматически, нам нужно сказать ему это:
Bash: nano /etc/iscsi/iscsi.initramfs
Добавьте новую строку:
Code: ISCSI_AUTO=true
Сохраните и закройте с Ctrl+x.
17. Проблема с ядром 5.13.
На момент написания этого туториала, по неизвестным причинам, ядро 5.13 не работало с моим iSCSI адаптером. Моя настройка не загружалась через iSCSI с ядром, поэтому нам нужно обновить его:
Bash: apt install pve-kernel-5.15
Обновите grub и initramfs:
Bash: update-grub && update-initramfs -u -k all
Теперь вы можете выйти из chroot, набрав exit, и перезагрузиться с Ctrl+d.
Теперь настройте ваш iSCSI адаптер в качестве устройства загрузки и наслаждайтесь вашей свежей и чистой системой без диска. Не забудьте загрузиться с 5.15 ядра, если оно не установлено как стандартное.
Надеюсь, этот туториал поможет некоторым людям.
20.12.2021 17:45:00, deathblade.