Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    iSCSI direct LUNs с мультипутями

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    iSCSI direct LUNs с мультипутями, Proxmox Виртуальная Среда
     
    tvtue
    Guest
    #1
    0
    28.11.2024 09:27:00
    Привет, дорогие пользователи Proxmox! Мы думаем о переходе с oVirt на Proxmox и у нас довольно много прямых LUN. Видел, что использование прямых LUN в Proxmox возможно, но не нашёл способа настроить multipath для этого. Не поймите меня неправильно, я нашёл документацию на вики по multipathing для iSCSI и использованию LVM поверх этого. Это отлично, и работает. Но нам нужен multipath для прямых LUN без LVM сверху, потому что мы хотим сохранить данные на этих прямых LUN. Так мы не будем переустанавливать VM и не придётся мигрировать данные. Когда я пытаюсь добавить iSCSI хранилище в веб-интерфейс, я могу добавить только один IP-адрес портала. Но LUN доступны по двум или даже четырём (на другом SAN) IP-адресам. Конечно, я могу настроить multipath, вручную пройдя через iSCSIadm discovery login и добавив LUN к multipath daemon. Но я не нашёл способа добавить их как общее хранилище. Можно использовать только один путь к каждому LUN, но это лишит нас резервирования и производительности. Есть ли какой-нибудь другой способ это сделать? Заранее спасибо и с уважением, Timo
     
     
     
    mira
    Guest
    #2
    0
    24.01.2025 10:27:00
    Используйте хранилище. Если посмотреть на плагин ISCSIPlugin [0], то можно увидеть, что многопутевые устройства предпочтительнее прямого доступа к блочным устройствам [1]. Добавление поддержки многопутей в графический интерфейс для устройств iSCSI (и, возможно, FC/DAS/NVMe-over-<transport>) — это одна из вещей, о которых мы думаем по поводу будущих улучшений. Как всегда, мы не можем с уверенностью сказать, будем ли мы это реализовать, и если да, то когда. [0] https://git.proxmox.com/?p=pve-stor...04530efad3729ff99035f17a10da00e8c8b96;hb=HEAD [1] https://git.proxmox.com/?p=pve-stor...efad3729ff99035f17a10da00e8c8b96;hb=HEAD#l247
     
     
     
    tvtue
    Guest
    #3
    0
    24.01.2025 14:33:00
    @mira, спасибо за предупреждение и напоминание об использовании стека хранения. Ты говорила, что думаешь о добавлении поддержки мультипути для устройств iSCSI в графический интерфейс в будущем. Мы очень заинтересованы в этом улучшении, потому что планируем перенести почти все наши виртуальные машины (около 400) с rhv/ovirt на pve. У многих из них так называемые directluns. Я уже писал об этом выше. Ты поделилась ссылками на исходный код. Спасибо за это, но мои навыки программирования продолжают угасать после учебы, да и я новенький в pve, что только ухудшает ситуацию. Я подозреваю, что тот перловый код реализует только что-то в бэкенде pve и недоступен ни в CLI. Я не нашел способа использовать стек хранения так, как ты посоветовала, для настройки устройств мультипути. Проводил тесты в GUI и CLI (pvesm) используя pve версии 8.3.1. Потом нашел эту страницу в вики о мультипути https://pve.proxmox.com/wiki/Multipath, которую я уже упоминал выше. Твое предупреждение гласило: "Это может привести к проблемам, когда VM не запускается, потому что хранилище еще недоступно". Но этот документ описывает это так же, как я это делал, до шага 4. Значит, и твое предупреждение "PVE не знает о каких-либо предварительных требованиях (например, активация хранилища iSCSI, чтобы LUNs были доступны)" тоже к этому относится, не так ли? Я бы хотел продолжить обсуждение этой темы вместе с вами. Могу проводить тесты и составлять отчеты, если потребуется. Спасибо и наилучшие пожелания, Тимо.
     
     
     
    mira
    Guest
    #4
    0
    27.01.2025 13:17:00
    Да, и это вполне реально, если настроить multipath. PVE предпочтёт multipath-устройство обычному блочному устройству. Это видно по коду, на который я дал ссылку. Multipath нужно настраивать отдельно, как описано в статье Wiki, на которую ты сослался. Нет, поскольку хранилище подключается к SAN, опрашивает LUN-ы, а затем ищет multipath-устройство, соответствующее LUN-у. Если такое устройство доступно, оно будет использоваться. В твоей настройке ты фактически передаёшь локальное блочное устройство, обходя хранилище. Знаний о каких-либо требованиях нет. А когда ты используешь хранилище (добавляешь iSCSI-хранилище, выбираешь LUN для диска VM), хранилище позаботится о том, чтобы соединение было установлено, а LUN доступен.
     
     
     
    tvtue
    Guest
    #5
    0
    27.01.2025 14:37:00
    @mira Я знаю, как конфигурировать мультипутевое устройство, но пока не понял, как добавить его через хранилище. Можешь объяснить, пожалуйста?
     
     
     
    mira
    Guest
    #6
    0
    28.01.2025 14:12:00
    Когда вы выполнили шаги из вики-статьи и видите устройства с поддержкой multipath для каждого из ваших LUN, стек хранилища будет автоматически использовать их вместо сырых блочных устройств (LUN напрямую). Настраивать multipath-устройство вручную в конфигурациях ВМ не нужно.
     
     
     
    tvtue
    Guest
    #7
    0
    28.01.2025 15:26:00
    @mira спасибо за ответ, но я всё ещё не понимаю. Можем ли мы привести конкретный пример? Допустим, у меня есть следующее устройство multipath, доступное на всех моих узлах pve:

    ```
    root@pve01:~# multipath -ll 3600d0231000d4a862ce5b77019886ab6
    3600d0231000d4a862ce5b77019886ab6 dm-0 IFT,DS 3000 Series
    size=7.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
    `-+- policy='service-time 0' prio=50 status=active
     |- 19:0:0:0 sdc 8:32 active ready running
     `- 18:0:0:0 sdd 8:48 active ready running
    ```

    Как бы ты добавил это устройство multipath к VM с ID 100 в качестве непосредственно доступного диска/LUN? Использовал бы pvesm add как-то или что?

    Спасибо и наилучшие пожелания,
    Timo
     
     
     
    mira
    Guest
    #8
    0
    28.01.2025 16:06:00
    Просто выбери iSCSI хранилище и LUN в панели `Add: Hard Disk`. Если для LUN доступно устройство с мультипутями, оно будет использоваться. Вам не нужно вручную выбирать устройство с мультипутями. Просто убедитесь, что оно доступно, если вам нужна избыточность/резервирование. Плагин iSCSI позаботится о том, чтобы устройства с мультипутями были выбраны для LUN, если они есть, при запуске ВМ.
     
     
     
    tvtue
    Guest
    #9
    0
    28.01.2025 16:33:00
    Итак, я бы использовал графический интерфейс и кликнул на "Data Center", затем "Storage", потом "Add", "iSCSI" и в этом окне ввел бы какой-нибудь ID, например, "iscsisan01", затем IP-адрес портала. Это отобразит мне iqn iSCSI в поле выбора ниже. Но я вижу только один target iqn. Я не могу ввести второй IP-адрес портала, который бы принес мне второй iqn target'а и, следовательно, второй путь. Но вы имеете в виду, что мне следует это игнорировать, подтвердить нажатием "OK" и перейти к VM, кликнуть на ее "Hardware", "Add", "Hard Disk" и выбрать ID, который я ввел выше. И я вижу, например, "CH 00 ID0 LUN0" в качестве моего "Disk Image". И когда я это добавляю, я получаю следующую конфигурацию VM:

    Code: root@pvenode01:~# qm config 101
    agent: 1
    boot: order=scsi0;ide2;net0
    cores: 4
    cpu: x86-64-v3
    ide2: none,media=cdrom
    machine: q35
    memory: 8192
    meta: creation-qemu=9.0.2,ctime=1730378334
    name: fedora41
    net0: virtio=BC:24:11:B0:45:3A,bridge=vmbr1
    numa: 0
    ostype: l26
    scsi0: local-zfs:vm-101-disk-0,aio=threads,iothread=1,size=16G
    scsi1: iscsisan01:0.0.0.scsi-3600d0231000d4a862ce5b77019886ab6,iothread=1,size=7298088M
    scsihw: virtio-scsi-single
    smbios1: uuid=f1eff414-2ac1-4ad9-9587-d9fb263dec00
    sockets: 2
    vga: virtio
    vmgenid: b143b312-c572-44ea-ad08-ca20361e5e7d

    И теперь код стека хранения предпочитает устройство с несколькими путями. В самом деле, этот длинный ID в строке, начинающейся с "scsi1:", это wwid от устройства с несколькими путями. Это так вы имели в виду?
     
     
     
    alexskysilk
    Guest
    #10
    0
    21.01.2025 19:54:00
    Я пока на стадии планирования, но, кажется, это сработает для кластеров? (Можно ли будет передавать mapped device?)
     
     
     
    tvtue
    Guest
    #11
    0
    21.01.2025 20:32:00
    Смотри мой пост выше. Я сделал live-миграцию VM с подключенным устройством.
     
     
     
    mira
    Guest
    #12
    0
    23.01.2025 17:56:00
    Это обходит стек хранилища PVE, подключая напрямую локальное блочное устройство. PVE не знает ни о каких предварительных условиях (например, активации хранилища iSCSI, чтобы LUN были доступны). Это может привести к проблемам, когда ВМ не запускается, потому что хранилище пока недоступно.
     
     
     
    alexskysilk
    Guest
    #13
    0
    23.01.2025 17:59:00
    @mira верно. Может, стоит это включить в pvesm?
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры