Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    PureStorage FlashArray + Proxmox VA + Multipath

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    PureStorage FlashArray + Proxmox VA + Multipath, Proxmox Виртуальная Среда
     
    timansky
    Guest
    #1
    0
    05.12.2024 09:51:00
    Приветствую всех энтузиастов Proxmox! У меня возникла проблема с отказоустойчивостью iSCSI в Proxmox. Текущая версия Proxmox не поддерживает нативно iSCSI с multipath, что критично для поддержания надежности инфраструктуры. Чтобы решить эту проблему, я решил создать собственный плагин, который теперь доступен всем на GitHub. Мы используем PureStorage FlashArray FA-X20R3 ( datasheet ) и Proxmox VE v8. Этот плагин уже доказал свою полезность в решении многих задач управления и интеграции хранилища.

    Что может делать мой плагин:

    *   Миграция в реальном времени – бесшовная и без перерывов.
    *   Создание и копирование снимков – удобно для резервного копирования и отката.
    *   Создание дисков ВМ как отдельные тома – это открывает мощные возможности PureStorage, такие как автоматические политики резервного копирования и снимков.

    Почему это важно:

    Создавая диски как отдельные тома, вы можете использовать преимущества PureStorage для обеспечения надежности и отказоустойчивости данных. Например:

    *   Автоматизация резервного копирования с использованием встроенных функций Pure.
    *   Гибкое управление политиками хранения.
    *   Поддержка multipath-соединений, что значительно улучшает производительность и устойчивость системы.

    Технические детали:

    *   Хранилище: PureStorage FlashArray FA-X20R3 (FW 6.5.8).
    *   Протестированная версия Proxmox VE: 8.2.*.

    Где найти и как установить:

    Весь код плагина доступен в открытом репозитории на GitHub. Там же вы можете найти подробные инструкции по установке и настройке.

    Что дальше:

    Я открыт для обратной связи и предложений по улучшению плагина. Если у вас есть идеи, запросы на добавление новых функций или сообщения об ошибках, свяжитесь со мной через GitHub или оставьте комментарий в проекте. Надеюсь, этот плагин будет вам полезен!
     
     
     
    fabian
    Guest
    #2
    0
    05.12.2024 10:53:00
    К слову, https://pve.proxmox.com/wiki/Multipath. Но да, для таких случаев и нужна система плагинов хранения.
     
     
     
    Johannes S
    Guest
    #3
    0
    05.12.2024 12:05:00
    Отличные новости, особенно если учесть, что у Pure сейчас нет нативного плагина. Может, теперь они будут более открыты к тому, чтобы что-то сделать, ведь уже есть база?
     
     
     
    timansky
    Guest
    #4
    0
    05.12.2024 12:07:00
    Текущая задокументированная реализация предполагает использование LVM поверх multipath. У LVM есть накладные расходы. Общий LVM не поддерживает снапшоты. Есть проблема с производительностью при больших установках (множество дисков, сейчас у нас более 2k). LVM Thin переносит данные по сети — это медленная и дорогая операция. LVM не позволяет использовать родные возможности Pure (полоса пропускания, снапшоты, репликация...).
     
     
     
    timansky
    Guest
    #5
    0
    05.12.2024 12:08:00
    Надеюсь на это. Самостоятельно охватить все возможные варианты использования довольно сложно.
     
     
     
    fabian
    Guest
    #6
    0
    05.12.2024 13:30:00
    Я не хотел подразумевать, что твой плагин не имеет смысла для твоей конфигурации/случая использования. Просто хотел отметить, что использовать multipath вполне возможно уже сейчас без него / с другими хранилищами/iscsi-целями.
     
     
     
    bbgeek17
    Guest
    #7
    0
    05.12.2024 19:59:00
    Привет @timansky, рад приветствовать в клубе Blockbridge: ультра-низкая задержка, хранилище на базе NVME для Proxmox - https://www.blockbridge.com/proxmox
     
     
     
    alexskysilk
    Guest
    #8
    0
    05.12.2024 20:41:00
    Спасибо, что опубликовал это! Я потрачу время, чтобы просмотреть твой код, но если позволишь:
    1. Я правильно понимаю, что ты не используешь lvm? Ты представляешь luns напрямую как диски для vm? Если да, то как ты интегрируешь создание/изменение/удаление из pve? Или это требует ручного вмешательства?
    2. Я предполагаю, что у тебя есть интеграция qm-freeze/qm-thaw для снимков (это, по крайней мере, должно быть довольно просто сделать).
    3. Можешь немного рассказать о "Проблема с производительностью при больших установках (несколько дисков, сейчас у нас более 2k)"?
     
     
     
    spirit
    Guest
    #9
    0
    05.12.2024 23:27:00
    Обратите внимание, что для плагина zfs over iscsi, поскольку мы используем libiscsi из qemu, у нас нет поддержки multipath. Помню, как было мучительно управлять пересканированием ядра iscsi и изменениями dm mapper multipath при откате или удалении тома. Кажется, здесь это работает правильно.
     
     
     
    tuxis
    Guest
    #10
    0
    19.12.2024 11:27:00
    @timansky Есть какая-то причина, почему ты не изучаешь NVME-Over-Fabric? https://wiki.archlinux.org/title/NVMe_over_Fabrics И ты общаешься с кем-нибудь из Pure Storage?
     
     
     
    amulet
    Guest
    #11
    0
    08.01.2025 21:08:00
    Также, пожалуйста, посмотрите здесь: https://github.com/dpetrov67/pve-purestorage-plugin. Это форк исходного репозитория, упомянутого выше. В ветке fixes-2 содержится несколько исправлений, но ни одно из них пока не попало в исходный репозиторий. Если у кого-нибудь есть Pure Storage Flash Array и он готов протестировать плагин, буду благодарен за любые отзывы.
     
     
     
    PwrBank
    Guest
    #12
    0
    13.01.2025 21:22:00
    Так, сейчас это тестирую. У меня проблема с тем, что API-токен не работает. Хранилище видно в GUI, и я подтвердил, что multipath работает , и когда я смотрю логи pvedaemon journalctl -u pveproxy -u pvedaemon | tail 500, там тоже сообщается об ошибке
     
     
     
    amulet
    Guest
    #13
    0
    13.01.2025 23:16:00
    Пожалуйста, проверь, что токен API указан верно (и не просрочен). Что сработало у меня, это: 1) Открой веб-интерфейс Pure Storage array. Перейди в Settings > Users and Policies > Users. 2) Создай пользователя с (минимум) правами Storage Admin (или можешь использовать существующего пользователя). 3) Сгенерируй токен API через (пользователя) > Create API Token. Также, убедись, что используешь последнюю версию. Обрати внимание, это ссылка на мой репозиторий, в котором есть различные исправления и улучшения по сравнению с оригинальным. Надеюсь, что в какой-то момент все мои исправления будут туда добавлены.
     
     
     
    PwrBank
    Guest
    #14
    0
    14.01.2025 14:31:00
    Отлично. Это точно продвинуло меня вперёд. Теперь я вижу, что API создаёт соответствующий том на массиве Pure. Однако, когда именно он начнёт его перемещать:

    Код: create full clone of drive scsi0 (purenfs:111/vm-111-disk-1.qcow2)
    Info :: Volume "proxmox/vm-111-disk-2" created (serial=96622A35A07E4A3300012498).
    Info :: Volume "proxmox/vm-111-disk-2" is added to host "der-pve3-pve".
    Info :: Volume "proxmox/vm-111-disk-2" is removed from host "der-pve3-pve".
    Info :: Volume "proxmox/vm-111-disk-2" deactivated.
    Info :: Volume "proxmox/vm-111-disk-2" destroyed.
    TASK ERROR: storage migration failed: Error :: Failed to run 'multipath -a 3624a937096622a35a07e4a3300012498'. Error :: command '/sbin/multipath -a 3624a937096622a35a07e4a3300012498' failed: exit code 1
    Похоже, multipath работает как надо.
    И том в Pure
     
     
     
    amulet
    Guest
    #15
    0
    14.01.2025 15:28:00
    Сообщение гласит, что не удалось выполнить команду: `/sbin/multipath -a 3624a937096622a35a07e4a3300012498`. Можешь попробовать запустить её вручную? Она должна добавить строку в /etc/multipath/wwids. multipath установлен в папку /sbin? Там плагин и ожидает его (путь сейчас жёстко прописан).
     
     
     
    PwrBank
    Guest
    #16
    0
    14.01.2025 15:52:00
    Никаких ошибок нет, но когда я проверяю файл wwids, там нет новой записи.
     
     
     
    PwrBank
    Guest
    #17
    0
    14.01.2025 16:02:00
    Ага, пришлось добавить WWID в исключения черного списка.

    Но всё равно получаю следующую ошибку при перемещении диска:
    Код: создать полный клон диска scsi0 (purenfs:111/vm-111-disk-1.qcow2)
    Информация :: Volume "proxmox/vm-111-disk-2" создан (serial=96622A35A07E4A330001249C).
    Информация :: Volume "proxmox/vm-111-disk-2" добавлен к хосту "der-pve3-pve".
    Информация :: Volume "proxmox/vm-111-disk-2" удален с хоста "der-pve3-pve".
    Информация :: Volume "proxmox/vm-111-disk-2" деактивирован.
    Информация :: Volume "proxmox/vm-111-disk-2" уничтожен.
    ОШИБКА ЗАДАНИЯ: миграция хранилища не удалась: Ошибка :: Не удалось выполнить 'multipath -a 3624a937096622a35a07e4a330001249c'. Ошибка :: команда '/sbin/multipath -a 3624a937096622a35a07e4a330001249c' завершилась с кодом выхода 1
     
     
     
    pveuser113
    Guest
    #18
    0
    14.01.2025 16:15:00
    Почему бы вам не использовать GitHub Issues для этого чата?
     
     
     
    PwrBank
    Guest
    #19
    0
    14.01.2025 16:16:00
    Я не на 100% уверен, что это не проблема Layer 8, если это техническая проблема, я создам тикет.
     
     
     
    PwrBank
    Guest
    #20
    0
    14.01.2025 17:19:00
    Ну, вот вопрос. Как плагин определяет, для чего портал в отношении iSCSI-цели? Потому что, я наполовину думаю, что он пытается использовать интерфейс управления, а не конкретную сеть 25GbE для iSCSI. Вот как можно вручную добавить iSCSI в Proxmox. На массиве Pure эти два интерфейса на каждом контроллере зарезервированы для iSCSI
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры