Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Proxmox VE CEPH кластер настройка

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Proxmox VE CEPH кластер настройка, Proxmox Виртуальная Среда
     
    daniel.h
    Guest
    #1
    0
    18.05.2020 11:16:00
    Привет всем! Мы находимся на этапе планирования кластера Proxmox-VE, чтобы расширить текущие ИТ-услуги в нашем институте. Основная цель на данный момент — предоставить базовую программную среду и веб-интерфейс для до 100 одновременно работающих пользователей (учителей, студентов, сотрудников института) в определенные моменты времени. Программное обеспечение для пользователей пока обсуждается, но сейчас проводятся тесты с jupyterlab и sandstorm на виртуальных машинах сервера ubuntu-20.04-LTS, которые могут прекрасно сочетаться с независимостью платформы для пользователей. Текущая рассматриваемая конфигурация оборудования следующая (спецификации еще не окончательные): + ВЫЧИСЛЕНИЯ ++ 2 'узла приложения' (1 активный/1 резервный), 64-128 потоков, 512-1TB ОЗУ, SAS-SSD-RAID1 256GB для proxmox, 6 NIC (4x 1Gb, 2x 10Gb RJ45), ЛОКАЛЬНЫЙ RAID для образов (?) ++ 7 'узлов хранения' CEPH, 16 потоков, 16GB ОЗУ, SAS-SSD-RAID1 256GB для proxmox, 4x2TB SATA-SSD для CEPH-OSD, 6 NIC (4x 1Gb, 2x 10Gb RJ45) + СЕТЕВОЕ ОБОРУДОВАНИЕ ++ 1Gb Коммутатор 20x RJ45 (веб-интерфейс управления Proxmox/ssh) ++ 1Gb Коммутатор 20x RJ45 (Proxmox corosync 1) ++ 1Gb Коммутатор 20x RJ45 (Proxmox corosync 2) ++ 10Gb Коммутатор 20x RJ45 (Proxmox CEPH общая сеть) ++ 10Gb Коммутатор 20x RJ45 (Proxmox CEPH кластерная сеть) Модель, которую мы нашли здесь (https://pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster), для нас очень привлекательна, но у нас (пока) нет оборудования для тестирования концепции, именно поэтому мы хотим обсудить эту концепцию здесь, в сообществе Proxmox, и узнать, что вы об этом думаете! Сказав это, мы уже запускаем другую систему с 6 узлами CEPH с безопасным хранилищем 100TB на физических узлах. Вышеуказанное даст значительно меньше (16TB при репликации 3), но должно быть достаточно для нашего случая использования (это рассчитано на предоставление 100GB на пользователя максимум, плюс 6TB для образов, iso и снимков (возможно, разбитых на пулы CEPH). Указанная ссылка описывает конструкцию, способную запускать образы ВМ непосредственно из хранилища CEPH, какой у вас с этим опыт? С точки зрения администратора это очень заманчиво для миграции ВМ и обзора хранилища — как по производительности по сравнению с размещением ВМ на, скажем, отдельном (локальном) SSD-RAID (SATA или SAS, Nvme финансово недоступен [это использование 'некластеризованных' Proxmox-VE, с которыми у нас больше всего опыта и которые очень хороши])? Другой большой вопрос — распределение/количество ВМ. Мы в настоящее время рассматриваем две модели - два больших отдельных ВМ (по 20 потоков, 256GB ОЗУ для jupyter и sandstorm каждый), несколько мелких (1 поток, 512M ОЗУ) для административных услуг, таких как LDAP. Это может быть самым простым способом поддерживать систему, но приносит некоторые 'безопасностные' проблемы, так как нам придется хотя бы частично предоставить доступ к оболочке, чтобы предложить 'настоящий опыт'. Другой способ заключался бы в том, чтобы предоставить каждому пользователю маленькую (например, 1 поток, 8GB ОЗУ) ВМ, что устраняет часть проблемы с зависанием системы, но создаёт достаточно дополнительной работы в областях управления DNS и аутентификацией (также потребуется больше 2 узлов приложения). Что вы думаете? С нетерпением жду ваших мнений/размышлений/критики! С наилучшими пожеланиями, Даниэль
     
     
     
    daniel.h
    Guest
    #2
    0
    02.06.2020 10:22:00
    @Alwin: Спасибо за ваш отзыв и прошу прощения за задержку с ответом — на прошлой неделе у нас было много обсуждений по (пере)дизайну! Мы собираемся сделать шаг назад по поводу общего хранилища и количества сервисов на узлах приложения. Это означает, что мы будем использовать виртуализованные узлы приложения (с proxmox на них, но 'не кластеризованными' по proxmox). Поскольку у нас есть несколько дополнительных устройств хранения, мы не будем использовать CEPH, а вместо этого используем выделенный RAID10-NFS-сервер (SATA-SSD) для общих (домашних) директорий между сервисами. Этот сервер будет резервироваться на машине с таким же набором (но с HDD вместо SSD) для обеспечения надежности. NFS будет подключен к proxmox и ВМ через 2x10Gb (мы решили запускать образы ВМ не с общего хранилища, а с локального RAID1 на узлах приложения). В общем, тенденция переходит от гиперконвергентной конфигурации CEPH к 'виртуализационному гибридному' решению. Функционально, базовый proxmox на наших узлах приложения позволяет нам удаленно настраивать ВМ, а NFS позволяет держать образы ВМ небольшими, так как пользовательские данные монтируются оттуда. Резервирование для ВМ достигается (вручную) через второй узел приложения. Количество ВМ было значительно уменьшено, так как мы будем использовать частично довольно большие (например, jupyterhub) ВМ и несколько меньших (apache, LDAP, mumble...). Поскольку было бы интересно использовать NFS как пространство для iso и снимков ВМ — это, вероятно, будет означать, что нам нужно будет смонтировать NFS в proxmox И в ВМ/сервисах, которые требуют общего хранилища? С наилучшими пожеланиями, Даниэль
     
     
     
    Alwin
    Guest
    #3
    0
    02.06.2020 11:27:00
    Я не уверен здесь. Но вы знаете, что кластер Proxmox VE не имеет отношения к кластеру Ceph? Я имею в виду в плане кластеризации. Да, его нужно будет смонтировать как хранилище. И диски ВМ должны находиться на NFS-накопителе, так как снимки хранятся на том же хранилище, что и диск.
     
     
     
    daniel.h
    Guest
    #4
    0
    02.06.2020 13:58:00
    Да, это понятно. Я говорю о том, чтобы использовать один узел Proxmox в качестве основного для наших виртуальных машин, а второй — в качестве резервного, если с первым что-то пойдет не так с оборудованием. Отказоустойчивость будет обеспечена наличием самих дисков ВМ на обоих узлах. Нам нормально иметь два отдельных веб-интерфейса для управления ВМ. В нашей текущей настройке, где используются несколько серверов Proxmox VE CE, мы делаем полные резервные копии (без снимков) ВМ на NFS-сервер (не через выделенный коммутатор, как мы планируем сейчас). Виртуальные машины находятся на самом сервере. Это все хорошо работает, поэтому мы будем придерживаться такой настройки, пока не наберем разумное количество машин, чтобы позволить себе перейти к начальному плану полной виртуализации. Объясняя, как CEPH оказался в плане (и сейчас уходит на второй план): параллельно с упомянутыми машинами у нас работает HPC-настройка, где кластер из 6 узлов CEPH предоставляет общий доступ к хранилищу для пользовательских папок и большинства программ на 6 вычислительных узлах. Это быстро и надежно, но на голом железе управлять этим не очень удобно (поэтому мы начали тестировать Ceph на Proxmox). Поскольку требования к хранилищу для нашего нового проекта гораздо ниже (основная цель — создать платформу для программирования/обучения на Python и R, люди не должны использовать настройку как 'устройство хранения'), мы отказались от CEPH. Также, чтобы сократить количество необходимых машин, поскольку у нас ограниченный бюджет. То есть, если мы не запускаем диски ВМ с NFS, а с локального устройства на сервере, мы можем помещать снимки только на локальное хранилище и делать полные резервные копии на NFS (как мы делаем сейчас)? Знаешь ли ты, как рассчитать расход пространства для снимков (например, ВМ с образом диска 30 ГБ, из которых 20 ГБ занято внутри ВМ)? Предположим, у меня есть три общих ресурса на NFS-сервере (например, /srv/isos /srv/users /srv/vm_backups), которые частично предназначены для Proxmox (/srv/isos /srv/vm_backups) и частично для ВМ/сервисов, которые требуют пользовательских папок (/srv/users). Я прав, что нам нужно будет зарезервировать 2 (возможно, объединенные) 10-гигабитные соединения к коммутатору, который подключается к NFS-серверу (1 для Proxmox, 1 для ВМ, которые должны иметь монтированные пользователями домашние директории)?
     
     
     
    Alwin
    Guest
    #5
    0
    02.06.2020 14:29:00
    Спасибо за то, что поделился своим процессом мышления и текущей настройкой. Снимки размещены на одном и том же хранилище (например, LVM-thin, ZFS и т.д.). И да, vzdump создает полные резервные копии. Я не совсем понял, что ты имеешь в виду. Если ты спрашиваешь, насколько большим может стать снимок, то он всегда будет таким же, как размер диска ВМ. Настройке в любом случае понадобится мост. Если у моста есть IP-адрес, то узел и ВМ смогут общаться с NFS-сервером.
     
     
     
    daniel.h
    Guest
    #6
    0
    02.06.2020 15:38:00
    Спасибо, ты правильно угадал мой вопрос! Для меня важно оценить необходимый объем локального хранилища для ВМ и снапшотов на узлах приложения (то есть на серверах Proxmox). В нашей текущей конфигурации используются отдельные IP-адреса для всех сущностей — 1 для узла и 1 для каждой ВМ. Часть из этих ВМ находится на том же (мостовом) сетевом интерфейсе, что и сам сервер Proxmox (один мост), а часть мы используем на двух (мостовых) сетевых интерфейсах (один только для доступа к Proxmox внутри, другой подключен к DMZ для внешнего доступа, именно для той ВМ, которой это соединение необходимо) (два моста). Мы думали в нашем новом проекте физически отделить трафик NFS Proxmox и трафик NFS ВМ на уровне сетевых интерфейсов сервера, но чем больше я об этом думаю, тем более это выглядит искусственно. Я думаю, что конфигурация с 2 мостами на 2 портах NIC 10Gb довольно равнозначна 1 мосту на 4 портах 10Gb в отношении скорости и надежности доступа к nfs-серверу (все физические соединения 10Gb идут в один и тот же коммутатор)? Последний вариант по крайней мере устранил бы необходимость в настройке двух мостов, которые так или иначе смотрят в одно и то же место. Поскольку у нас такая же история «выше» (наше соединение с сетью института), это могло бы значительно сократить количество необходимых настроек.
     
     
     
    Alwin
    Guest
    #7
    0
    02.06.2020 17:10:00
    Целуйся — всегда хорошее правило. Но VLAN может быть хорошим вариантом для логического разделения трафика. Это может позволить в случае необходимости установить ограничения доступа.
     
     
     
    PigLover
    Guest
    #8
    0
    02.06.2020 18:19:00
    Вам стоит дважды проверить это предположение. Предполагая, что вы покупаете новое оборудование, текущие цены на 25G NIC и коммутаторы всего на небольшой процент выше, чем на 10GB. Конечно, это меняется, если у вас есть значительная установленная база для использования (существующие коммутаторы или инвентарь 10GB NIC). Но проверьте текущие цены — вы можете быть приятно удивлены, узнав, что 25Gbe может вписаться в ваш бюджет.
     
     
     
    daniel.h
    Guest
    #9
    0
    03.06.2020 10:11:00
    Спасибо за подсказку. Я проверял цены — ты прав, что некоторые из 25Gb свитчей могут попасть в наш бюджет. Проблема в том, что (так как мы тратим государственные деньги) доступные варианты (по крайней мере здесь в Европе) имеют только годовую гарантию (Cisco и Mellanox!). Свитчи на 10Gb стоят примерно половину или две третьих от цены более дешевых 25Gb, но обычно имеют 10-летнюю гарантию. Я просто не могу позволить себе оставить эту важную часть нашей инфраструктуры без гарантии после первого года пятилетнего проекта (который, надеюсь, будет развиваться и дальше)… хотя это действительно очень соблазнительно!
     
     
     
    daniel.h
    Guest
    #10
    0
    03.06.2020 10:17:00
    Все наши запланированные коммутаторы обладают полными возможностями управления и VLAN, так что мы сможем адаптировать этот подход. Мне временами не по себе от мысли, что интерфейс управления Proxmox находится в одной сети с самими сервисами. Что поднимает новый вопрос — существует ли простое решение для интеграции веб-интерфейса Proxmox с fail2ban, например?
     
     
     
    Alwin
    Guest
    #11
    0
    03.06.2020 11:12:00
    Я не могу перевести текст, так как он представляет собой URL-адрес: https://pve.proxmox.com/wiki/Fail2ban.
     
     
     
    daniel.h
    Guest
    #12
    0
    03.06.2020 12:53:00
    Спасибо, именно этого я и ожидал.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры