Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [ТУТОРИАЛ] Установка PVE напрямую на iSCSI target.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [ТУТОРИАЛ] Установка PVE напрямую на iSCSI target., Proxmox Виртуальная Среда
     
    deathblade
    Guest
    #1
    0
    20.12.2021 17:45:00
    Когда я увидел, что поддержка установки iSCSI с официального ISO вообще не планируется, я начал искать способы это реализовать. Я нашел обходной путь с официальным ISO PVE 7.1 и хочу поделиться, возможно, это кому-то поможет. Будет объяснен только обходной путь с iSCSI, я предполагаю, что вы знаете, как создать целевой ресурс на вашем хранилище и как настроить прошивку сетевого адаптера для загрузки. Этот туториал не использует iPXE или что-то подобное, поэтому это можно сделать только с CNA адаптером, поддерживающим iSCSI загрузку. Для справки, я использую Intel X520-DA2 CNA для этого туториала, который использует драйвер ixgbe, включенный в ядро PVE.

    1. Создайте LUN и целевой ресурс на вашем хранилище.
    2. Настройте IP/целевой адрес в прошивке CNA для загрузки.
    3. Запишите ISO с [этой страницы](URL) на USB-накопитель и загрузите гипервизор с USB. (Лично я загружаюсь в режиме MBR, потому что у меня проблемы с UEFI с моим CNA).
    4. Выберите второй вариант (Установить в режиме отладки).
    5. Появляется первая консоль, в этот момент ресурсов нет, мы не можем работать здесь, поэтому вы можете нажать Ctrl+D, чтобы продолжить.
    6. Появляется вторая консоль, теперь ресурсы смонтированы, и сеть доступна. Поехали!
    7. В моем случае я использую generic SFP+ трансиверы, которые не поддерживаются модулем ixgbe, поэтому давайте скажем ему, что можно использовать эти. Если ваши SFP модули поддерживаются или вы не используете Intel 10Gb адаптер, вы можете пропустить этот шаг.
    Bash: nano /etc/modprobe.d/ixgbe.conf
    Добавьте на первой строке:
    Code: options ixgbe allow_unsupported_sfp=1
    Нажмите Ctrl+x, чтобы сохранить и закрыть.
    Теперь перезапустите модуль ixgbe и ваши интерфейсы появятся:
    Bash: rmmod ixgbe && modprobe ixgbe
    Вы можете увидеть их с:
    Bash: ip a
    8. Настройте ваш интерфейс и IP-адрес.
    Мой интерфейс - enp43s0f0, замените его своим. Сначала включите соединение:
    Bash: ip link set enp43s0f0 up
    Затем назначьте IP-адрес в той же подсети, что и ваш целевой:
    Замените IP/CIDR своим.
    Bash: ip addr add 192.168.100.101/24 dev enp43s0f0
    Вы можете подтвердить, что все в порядке, с:
    Code: ip a
    Для проверки можете попробовать пинговать ваш целевой хост.
    9. Установите open-iscsi в initramfs.
    ВАЖНО: Мы находимся в initramfs установщика, поэтому все задачи, которые вы здесь выполняете, не будут сохранены и будут удалены, если вы выключите сервер или отмените установку.
    Пакет open-iscsi на самом деле не установлен, но он включен для установки новой системы в /cdrom/debian/proxmox/packages/.
    Если вы попытаетесь установить его сейчас, dpkg пожалуется, что отсутствуют две зависимости. Итак, давайте сначала установим их из той же директории.
    Bash: dpkg -i /cdrom/debian/proxmox/packages/libisns0_0.100-3_adm64.deb
    dpkg -i /cdrom/debian/proxmox/packages/libopeniscsiusr_2.1.3-5_adm64.deb
    dpkg -i /cdrom/debian/proxmox/packages/open-iscsi_2.1.3-5_adm64.deb
    Установка open-iscsi никогда не завершится, но это не важно, вы можете отменить ее с Ctrl+c.
    10. Подключитесь к вашему целевому ресурсу.
    Теперь мы можем использовать iscsistart для подключения к целевому ресурсу! Замените здесь <IQN> идентификатором вашего целевого ресурса, а <IP> адресом целевого хоста.
    Bash: iscsistart -i initiator_1 -t <IQN> -g N -a <IP>
    Если вы правильно настроили сетевой адаптер с правильным IP-адресом, ваш целевой ресурс теперь подключен и доступен установщику в качестве блочного устройства. Если целевой ресурс подключен, нам больше не нужна эта консоль. Вы можете закрыть ее с Ctrl+d.
    11. Вернитесь к графическому интерфейсу.
    Вы можете принять EULA и настроить жесткий диск и файловую систему.
    12. Настройте часовой пояс/раскладку клавиатуры и ваш основной сетевой интерфейс (не используйте тот, который вы использовали для подключения к целевому ресурсу).
    После этого не забудьте снять флажок автоматического перезапуска после установки, прежде чем нажать кнопку установки.
    13. После завершения установки нажмите перезагрузку, и появится консоль. Нам нужно выполнить несколько небольших шагов здесь.
    Нам нужно chroot внутри свежей системы.
    Bash: mount /dev/pve/root /mnt
    mount -o bind /dev /mnt/dev
    mount -o bind /proc /mnt/proc
    mount -o bind /sys /mnt/sys
    Наконец, chroot внутрь /mnt:
    Bash: chroot /mnt /bin/bash
    14. Настройка списка источников apt.
    Если у вас нет ключа подписки, вы можете удалить корпоративный репозиторий.
    Bash: rm /etc/apt/sources.list.d/pve-entreprise.list
    И добавьте no-subscription в sources.list:
    Bash: nano /etc/apt/sources.list
    Добавьте в конец:
    Code: # PVE repository
    deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription
    Сохраните и закройте с Ctrl+x.
    Обновите списки пакетов:
    Для следующих шагов вам нужен доступ к интернету, вам нужно настроить один из ваших интерфейсов вручную, если у вас нет DHCP.
    Bash: apt update
    ВНИМАНИЕ: Не пытайтесь выполнить apt upgrade, он не удастся, потому что реальная система не работает. Дождитесь перезагрузки, чтобы выполнить ее.
    15. Настройка grub.
    Этот шаг для unsupported SFP модулей с ixgbe, вы можете пропустить его, если вас это не касается.
    Bash: nano /etc/default/grub
    Найдите строку GRUB_CMDLINE_LINUX="" и измените ее следующим образом:
    Code: GRUB_CMDLINE_LINUX="ixgbe.allow_unsupported_sfp=1"
    Сохраните и закройте с Ctrl+x.
    16. Настройка iSCSI загрузки.
    Модуль iscsi_ibft можно использовать при загрузке для получения настроек целевого ресурса из прошивки CNA автоматически, нам нужно сказать ему это:
    Bash: nano /etc/iscsi/iscsi.initramfs
    Добавьте новую строку:
    Code: ISCSI_AUTO=true
    Сохраните и закройте с Ctrl+x.
    17. Проблема с ядром 5.13.
    На момент написания этого туториала, по неизвестным причинам, ядро 5.13 не работало с моим iSCSI адаптером. Моя настройка не загружалась через iSCSI с ядром, поэтому нам нужно обновить его:
    Bash: apt install pve-kernel-5.15
    Обновите grub и initramfs:
    Bash: update-grub && update-initramfs -u -k all
    Теперь вы можете выйти из chroot, набрав exit, и перезагрузиться с Ctrl+d.
    Теперь настройте ваш iSCSI адаптер в качестве устройства загрузки и наслаждайтесь вашей свежей и чистой системой без диска. Не забудьте загрузиться с 5.15 ядра, если оно не установлено как стандартное.
    Надеюсь, этот туториал поможет некоторым людям.
     
     
     
    Ray_
    Guest
    #2
    0
    21.12.2021 11:07:00
    Спасибо за этот туториал. Я попробовал установить pve по твоему способу, однако, когда установщик доходит до этапа "сделать систему загрузочной", он падает с ошибкой, так как не может смонтировать раздел. Если я пытаюсь смонтировать его вручную, он не может прочитать superblock pve-root (та же проблема, что и в моей другой теме: https://forum.proxmox.com/threads/grub-cant-find-volume-group-pve-on-iscsi-boot.101743/ )
    {
    "lightbox_close": "Close",
    "lightbox_next": "Next",
    "lightbox_previous": "Previous",
    "lightbox_error": "The requested content cannot be loaded. Please try again later.",
    "lightbox_start_slideshow": "Start slideshow",
    "lightbox_stop_slideshow": "Stop slideshow",
    "lightbox_full_screen": "Full screen",
    "lightbox_thumbnails": "Thumbnails",
    "lightbox_download": "Download",
    "lightbox_share": "Share",
    "lightbox_zoom": "Zoom",
    "lightbox_new_window": "New window",
    "lightbox_toggle_sidebar": "Toggle sidebar"
    } У тебя есть какие-нибудь идеи, что могло быть причиной?
     
     
     
    deathblade
    Guest
    #3
    0
    21.12.2021 13:12:00
    Привет! Вижу, у тебя та же проблема с Debian и Proxmox, возможно, стоит проверить подключение HDD/iSCSI. Какой файлер используешь? Ты делал S.M.A.R.T. тест на своих дисках? Ты в другом посте сказал, что это на том же LUN с тем же iSCSI подключением, как сейчас?
     
     
     
    Ray_
    Guest
    #4
    0
    21.12.2021 13:48:00
    Привет, iSCSI соединение работает отлично, потому что я запускал ESXi на нем пару дней назад. Все диски находятся в Fujitsu Eternus Dx100 s3, и там всё отображается как нормально. Да. Поэтому я нахожу это крайне странным. Я уже использовал тот же метод для установки proxmox backup server на выделенный сервер Hetzner, и там всё работало отлично. Я также попробовал войти с помощью iscsiadm вместо iscsistart, но похоже, что сервис iscsid не полностью работает, так как я не могу получить соединение через него. Я собираюсь попробовать дебустроить Debian Bullseye на LUN, это единственное, чего я ещё не пробовал.
     
     
     
    deathblade
    Guest
    #5
    0
    21.12.2021 14:58:00
    Да, iscsiadm требует systemd, который не запущен при установке. Я честно говоря, уже не знаю, что посоветовать по твоему вопросу, расскажи, что получилось с debootstrap.
     
     
     
    Ray_
    Guest
    #6
    0
    22.12.2021 12:29:00
    Наконец-то удалось загрузить pve. Debootstrap + пункты 16 и 17 из твоего гайда помогли. После этого решил попробовать снова свой метод с KVM и твоими пунктами 16 и 17, и это тоже сработало. Так что теперь у меня наконец-то обычный PVE через iSCSI. Единственная проблема, с которой я сейчас сталкиваюсь, это multipathing с загрузочным iSCSI-соединением.
     
     
     
    Gudkoff
    Guest
    #7
    0
    31.01.2022 23:25:00
    Отличный пост! Именно то, что я искал! Но у меня не получилось. Ты работаешь с настройками BIOS или UEFI? В итоге я загрузился с iscsi-таргета, но кажется, ip-конфигурация не передалась от UEFI в систему. Получаю: Код: Невозможно обработать группу томов pve
    Группа томов "pve" не найдена

    (initramfs) _
     
     
     
    deathblade
    Guest
    #8
    0
    31.01.2022 23:40:00
    Привет! Как я написал в начале инструкции, я использую загрузку через BIOS, потому что мой адаптер не загружается в UEFI. Ты используешь ядро 5.15? (Когда я писал это сообщение, 5.13 не работает с iSCSI-загрузкой). Шестнадцатый шаг очень важен, и после него обязательно нужно обновить initramfs!
     
     
     
    Gudkoff
    Guest
    #9
    0
    01.02.2022 15:15:00
    Привет! Ой, извини, не заметил. Я использовал ядро по умолчанию, 5.13. Думал, для твоей сетевой карты нужно 5.15. Сегодня попробую обновить ядро. И потом попробую загрузку из BIOS. Но я все еще не уверен, как ОС должна получать конфигурацию IP, чтобы iSCSI работал после загрузки. Нужно ли мне конфигурировать IP-адрес в `/etc/network/interfaces` перед перезагрузкой (в chroot)?
     
     
     
    deathblade
    Guest
    #10
    0
    02.02.2022 11:08:00
    Операционная система получает информацию iSCSI с помощью модуля ядра iscsi-ibft. Поэтому я добавил ISCSI_AUTO=true. В моем случае нет необходимости настраивать сетевую карту, после загрузки, когда я проверяю, она имеет тот же IP-адрес, что и тот, что я указал в ROM опции загрузки iSCSI.
     
     
     
    pefman
    Guest
    #11
    0
    06.03.2022 17:07:00
    Сегодня уже несколько раз пробовал, надеялся на успех. К сожалению, испытываю ту же проблему, что и другие. Iscsi boot работает, но как только начинается загрузка после grub, я получаю следующее. Использую Dell M420 с картами Qlogic 10GB mez. Может, это просто так, что ISCSI_AUTO=true не работает?
     
     
     
    deathblade
    Guest
    #12
    0
    06.03.2022 19:42:00
    Когда я использую ядро версии 5.13, я получаю ту же ошибку: "could not setup fw entries". Ты использовал ядро 5.15?
     
     
     
    pefman
    Guest
    #13
    0
    06.03.2022 19:59:00
    Да, сделал. Интересно, как работает iscsi_auto. Совместим ли он со всеми BIOS от сетевых карт? Можно ли как-то отлаживать в initramfs, чтобы понять, получил ли он детали?
     
     
     
    deathblade
    Guest
    #14
    0
    06.03.2022 20:56:00
    Согласно справке пакета open-iscsi, можно попробовать вручную заполнить учетные данные iSCSI в файле конфигурации. Bash: ISCSI_INITIATOR="iqn.1993-08.org.debian:01:9b3e5634fdb9"
      ISCSI_TARGET_NAME=iqn.2008-01.com.example:storage.foo
      ISCSI_TARGET_IP=192.168.1.1
      ISCSI_TARGET_PORT=3160
      ISCSI_USERNAME="username"
      ISCSI_PASSWORD="password"
      ISCSI_IN_USERNAME="in_username"
      ISCSI_IN_PASSWORD="in_password"
      ISCSI_TARGET_GROUP=1 Можно также попробовать добавить опцию в строку загрузки ядра: Bash: iscsi_auto
     
     
     
    pefman
    Guest
    #15
    0
    06.03.2022 21:33:00
    Пытаюсь сейчас! Забыл, что пробовал в UEFI, сначала попробую в BIOS.
     
     
     
    pefman
    Guest
    #16
    0
    06.03.2022 23:59:00
    Наконец-то удалось заставить это работать, поменяв пару вещей. Вместо "ISCSI_AUTO=true" в файле /etc/iscsi/iscsi.initramfs я установил параметр ядра iscsi_auto. Но перед тем, как выйти из chroot и запустить update-initramfs, я установил отсутствующую прошивку bnx2x, которую он выдавал. Теперь работает просто отлично!
     
     
     
    tyami94
    Guest
    #17
    0
    11.03.2022 05:53:00
    Отличное решение, браво! Мучился с этим около недели, а потом наткнулся на эту тему. Сработало с первого раза. Но есть одна проблема. Когда включаю VLAN aware на vmbr0 (который содержит интерфейс, подключенный к iSCSI-таргету) и перезагружаю, система перестаёт загружаться, и начинаются ошибки ввода-вывода с iSCSI-блочного устройства. У кого-нибудь есть какие-нибудь идеи?
     
     
     
    Overmind
    Guest
    #18
    0
    26.03.2022 09:05:00
    Спасибо за туториал, но я столкнулся с той же проблемой: ошибка ввода-вывода blk_update_request. Использую gpxelinux.0 в syslinux с tftp-сервером для загрузки по iSCSI, потому что не могу скомпилировать ipxe для моего роутера arm64. Не знаю, связано ли это с проблемой.

    Насчет шага 12: у меня только один сетевой интерфейс, как мне настроить другой, а не тот, который подключен к iSCSI (enp2s0)?

    Насчет шага 13: я использую USB для установки PVE, мне вытащить его при перезагрузке или воткнуть? Если воткнуть, то консоль появится как в шагах 4-6? Спасибо.
     
     
     
    backslash
    Guest
    #19
    0
    06.05.2022 19:04:00
    Огромное спасибо, заработало как по волшебству с первого раза!! Я только поменял iscsistart на iscsiadm, чтобы получить мои LUNs с Compellent SAN.
     
     
     
    MisterY
    Guest
    #20
    0
    11.05.2022 14:18:00
    Как мне установить опцию ядра iscsi_auto? Я вставил её в grub?

    Редактирую: Установка прошла успешно, но загрузка с ISCSI не получается. Выдаёт ошибку: Code: Acquiring DHP parameters for interface (XX) ... Succeeded
    [iBoot-09]: No Target Information. У меня такая конфигурация на моём R620 с Broadcom 5720 (IP: 192.168.10.8; настроено статически через dhcp на моём роутере): Code: boot protocol iscsi
    boot strap type auto
    hide setup prompt disabled, ctrl-s, 5 seconds
    link speed autoneg
    preboot wake on lan disabled
    vlan mode disabled
    vlan id 1
    blink leds not blinking

    Под iscsi boot, общие параметры у меня:

    tcp/ip param via dhcp enabled
    iscsi param via dhcp enabled
    chap auth disabled
    boot to iscsi target enabled
    dhcp vendor blank
    link up delay 30
    use tcp timestamp enabled
    target as first hdd enabled
    lun busy retry count 5
    ip version ipv4

    Под Initiator parameters у меня всё установлено в 0.0.0.0 или пусто, кроме:
    ISCSI name: iqn.1995-05.com.broadcom.iscsiboot

    Параметры первого таргет:
    Connect: Enabled
    IP Address: 192.168.10.5 (IP von Truenas Scale)
    TCP Port: 3260
    Boot LUN: 0
    ISCSI Name: iqn.2012-01.com.dell:target1 Это моя ISCSI-Share на TrueNas Scale: Code: IP: 192.168.10.5
    Basename ISCSI: iqn.2012-01.com.dell
    Portal Group ID: 1
    Initiators Group ID: 3
    target name: target1
    LUN ID: 0 Какие идеи, что не так?

    Редактирую: Это была настройка dhcp. Я указал IP-адрес в сетевом адаптере Broadcom, и теперь всё работает.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры