Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Контейнеры на GlusterFS?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Контейнеры на GlusterFS?, Proxmox Виртуальная Среда
     
    t3chnode
    Guest
    #1
    0
    24.02.2021 03:34:00
    Сейчас занимаюсь настройкой Gluster FS на наших трех существующих узлах Proxmox, но в процессе тестирования столкнулся с проблемой перемещения контейнеров на Gluster. Есть ли какое-то стабильное решение для хостинга контейнеров на Gluster? Пересоздавать контейнеры в виде VM не обязательно. Для справки, у каждого узла есть/будет 2 X Zfs Mirrored SSD для ОС, 5 x 3TB HDD в Raidz2 (плюс SSD для кэширования чтения/записи).
     
     
     
    conjuror0571
    Guest
    #2
    0
    03.04.2021 05:38:00
    Для хранения данных контейнеров Proxmox LXC на glusterfs я использую NFS-Ganesha и настраиваю хранилище в Proxmox как NFS. Я установил NFS-Ganesha на gluster-серверах, где находятся тома с образами дисков LXC. Работает отлично.
     
     
     
    flori
    Guest
    #3
    0
    03.04.2021 12:49:00
    Используя такую настройку, можно ли использовать Live Migration контейнеров? Может, опишешь немного подробнее свою настройку?
     
     
     
    conjuror0571
    Guest
    #4
    0
    03.04.2021 18:45:00
    Жив? Нет. Нет живой миграции контейнеров LXC с Proxmox, на каком бы там ни было хранилище. Любая миграция контейнера LXC требует его выключения и перезапуска. Однако, если разместить образы дисков на NFS/Gluster, то это выключение/миграция/перезапуск занимает всего 5 секунд или около того, даже на моих медленных и слабых системах. Это дешевая "голая" домашняя лаборатория. Я запускаю пару машин Proxmox PVE v5 в качестве двухузловой кластера на двух старых Intel-машинах. У меня есть еще 2 дисковых сервера на ARM SBC (ODROID XU4 с USB-SATA адаптерами, работающие под Armbian Ubuntu 20.04). Все 4 машины работают с Gluster 7 и NFS-Ganesha с nfs-ganesha-gluster для предоставления NFS-доступа к томам gluster. Gluster отлично работает в кластере с разной архитектурой CPU (x86/64 и ARM). Каждый узел дешевый и легко заменяемый. Все зеркалирование выполняется Gluster; никакое локальное зеркалирование диска/RAID не используется ни на одной машине. Каждая система имеет 1 или 2 SSD и 1 или 2 механических жестких дисков. Я использую DNS round-robin имя для использования Gluster и NFS, которое включает все 4 IP-адреса серверов. Это лучше, чем конфигурации Proxmox primary/secondary по двум причинам: (1) оно позволяет указать более 2 серверов, доступных для ответа на запросы, и (2) хосты всегда предпочитают себя как часть группы RR, устраняя сетевой трафик, когда gluster-файл, который они хотят, находится на той же машине. Я зеркалирую свой том gluster для образов дисков между двумя серверами PVE, так что половина доступа к зеркалу всегда находится на локальной машине, сокращая сетевой трафик вдвое по сравнению с тем, что он мог бы быть. В результате, когда Proxmox/LXC обращается к файлу образа диска контейнера по NFS, сервер Proxmox разговаривает с NFS-Ganesha, который затем разговаривает с Gluster, все на одном сервере. Для чтения все остается внутри сервера, сетевой доступ не требуется. Для записи половина остается локальной, а другая зеркальная половина записывает в другой gluster/PVE сервер. Более крупные тома gluster для общего файлового хранилища/обмена распределены по всем 4 серверам. Поскольку у меня больше 2 серверов, я настраиваю свои тома gluster как replicate 2+1 (простое зеркало плюс арбитр) плюс distribute. Работает отлично.
     
     
     
    flori
    Guest
    #5
    0
    03.04.2021 18:53:00
    Прости... моя вина. Вот это интересно. Спасибо за разъяснения. Попробую сделать это на днях самостоятельно!
     
     
     
    t3chnode
    Guest
    #6
    0
    12.04.2021 10:01:00
    Спасибо за все комментарии! Сейчас я всё ещё использую директорийное хранилище на gluster, но с нетерпением жду возможности протестировать nfs поверх gluster. Это мой первый раз, когда я что-то пишу на форуме, и вы все были очень полезны. Большое спасибо!
     
     
     
    floh8
    Guest
    #7
    0
    01.08.2021 19:51:00
    Что ты имеешь в виду под "директорийным хранилищем"?
     
     
     
    aaron
    Guest
    #8
    0
    03.08.2021 15:14:00
    Хранилище типа "directory" можно настроить по любому пути, который вы выберете. Поэтому вы можете подключить любую файловую систему в первую очередь, даже если она не поддерживается Proxmox VE "из коробки". В таком случае просто убедитесь, что вы указываете путь к точке монтирования и устанавливаете опцию `is_mountpoint 1` для этого хранилища, чтобы Proxmox VE знала, что активировать хранилище только в том случае, если что-то подключено по этому пути.
     
     
     
    floh8
    Guest
    #9
    0
    03.08.2021 15:25:00
    На чём ты основываешь свой ответ, исходя из какой части документации??? 1. Точки монтирования с поддержкой хранилища, директории: передача size=0 запускает особый случай, когда вместо необработанного образа создаётся директория, или 2. Точки монтирования bind.
     
     
     
    aaron
    Guest
    #10
    0
    03.08.2021 15:29:00
    Хранилища: https://pve.proxmox.com/pve-docs/chapter-pvesm.html#storage_directory В таком хранилище диски контейнеров будут храниться как .raw файлы. Если только вы не укажете size=0. Но это лучше избегать, так как хотя это и возможно для обратной совместимости, это не так хорошо протестировано, и некоторые новые функции могут не работать с такими томами контейнеров. Вы, кажется, имеете в виду контейнеры?
     
     
     
    floh8
    Guest
    #11
    0
    03.08.2021 15:31:00
    Слушай, в документации написано, что бэкап контейнеров идёт быстрее, если они лежат на хранилище со снапшотами. Какие у тебя опыт с NFS?
     
     
     
    floh8
    Guest
    #12
    0
    03.08.2021 16:07:00
    То есть ты имеешь в виду первый пункт Storage Backed Mount Points? Изображения: это необработанные образы, содержащие одну файловую систему ext4. Думаю, ты хочешь смонтировать glusterfs в host-filesystem, а затем создать директорию mount как Storage entry и использовать её для монтирования контейнера, что создаст необработанный файл. Верно? Я написал ветку, где предлагаю установить PBS как VM и Backup Storage на GlusterFS-Cluster. Сейчас я ищу решение, как реализовать это с контейнерами. Тем временем я заметил, что Proxmox PVE с GlusterFS сложноват для контейнеров, потому что proxmox не заставляет интегрировать такие функции, как снимок и клонирование для glusterfs. Соответственно, бэкапы контейнеров получаются очень медленными. Надеюсь найти обходной путь, чтобы использовать контейнеры с glusterfs и всеми хорошими фичами Proxmox.
     
     
     
    floh8
    Guest
    #13
    0
    03.08.2021 18:26:00
    Ну и вижу, что контейнер используется только функционально на кластеризованном хранилище с ceph. Это ужасно. К сожалению, ceph не поддерживает дедупликацию.
     
     
     
    bzctoons
    Guest
    #14
    0
    24.11.2024 19:35:00
    Чтобы использовать glusterfs для миграции контейнеров без копирования данных:

    - Создайте хранилище glusterfs.
    - Создайте директорию хранилища и смонтируйте ее на предыдущую /mnt/pve/GV-STORAGE.
    - В настройках директории нажмите на 'shared'.

    Работает и протестировано на proxmox 8.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры