Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ.

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Размышления о кластере с точки зрения развития: Ceph, кластеризация, возможно, NAS-хранилище для ВМ., Proxmox Виртуальная Среда
     
    ns33
    Guest
    #1
    0
    13.06.2025 15:42:00
    Я в процессе развёртывания кластера, чтобы доказать программе офиса, что переход с почти голого железа к почти виртуальной среде – это верный путь. Внутри компании наш руководитель проекта согласен, но мне нужно это доказать, чтобы получить полное финансирование. Сейчас у меня 3 узла, собранные практически из мусорки: два имеют одинаковую конфигурацию процессора/памяти/SSD/GPU, а третий – очень отличается, но более мощный. Я буду использовать nvidia vgpu, так как многие физические системы требуют CUDA. Каждый узел имеет 6x 10gb nics, но работает на скорости 1gb по отдельности, некоторые находятся в конфигурации lacp для подключения к коммутатору. Мое понимание такова: если я хочу использовать ceph, чтобы доказать возможность переключения при отказе, узлы должны быть, по сути, одинаковыми – одинаковые процессоры, раскладка памяти, GPU, хранилище, верно? Есть ли способ обойтись без идентичных систем с ceph, установленным, просто чтобы продемонстрировать возможность переключения при отказе? Действительно ли ceph необходим, если есть интерес к использованию избыточных NAS для хранения VM? Мы переходим на оптоволокно, и руководитель проекта согласен с рекомендацией использовать двухпортовые оптоволоконные карты 100g для каждой системы, и я рекомендую, чтобы каждый NAS был основан на флэш-памяти. Не является ли ceph бесполезным при использовании конфигурации оптоволокно/флэш-NAS; будет ли переключение VM при отказе по-прежнему возможно? Или метод NAS — плохая идея? Если метод NAS приемлем, я предполагаю, что мне понадобятся только зеркалируемые загрузочные диски на каждом узле? Что касается кластеризации, есть ли какие-то подводные камни при использовании узлов с разным оборудованием? И для сетевого взаимодействия кластера; в данный момент, поскольку магистральная сеть в моей лаборатории всего 1gbe, на каждом узле я использую два из 10gb nics, напрямую соединяя узлы друг с другом: n1eth0 -> n2eth1, n2eth0 -> n3eth1, n3eth0 -> n1eth1. Ничего еще не настроено, просто PVE установлен на каждом узле. Это нормально? В идеале, у меня был бы коммутатор между ними, но поскольку мы переходим на оптоволокно, покупка кучи 10gb медных sfp-коннекторов — это пустая трата денег, поэтому прямое соединение — это единственный вариант на данный момент. Извините, если это всё хаотично; я вывалил это в том порядке, в каком мой мозг меня отпустил.
     
     
     
    waltar
    Guest
    #2
    0
    13.06.2025 21:30:00
    Узлы Ceph могут быть разными, но у тебя должно быть почти одинаковое количество дискового пространства (как количество OSD, умноженное на размер) доступным, чтобы данные могли восстановиться на оставшихся узлах в случае отказа одного узла! Узлы PVE (если они даже не совпадают с узлами Ceph) могут иметь разные процессоры, но ты можешь столкнуться с ошибками миграции ВМ, если используешь тип vCPU host, который иногда нужен, но чаще всего лучше использовать тип PVE по умолчанию, который является мигрируемым. RAM в основном полезнее, чем CPU, хотя и меньше, но более мощные ядра полезнее, чем CPU с большим количеством ядер и низкой частотой. Избыточное NAS все еще работает, но ты можешь иметь ограниченные функции PVE, доступные в GUI, чего нет в Ceph, но если у тебя уже есть какое-то старое NAS, не списывай его, используй оба. Если ты планируешь ввести в эксплуатацию новое флэш-NAS, тебе следует сделать POC с вендором, и если ты не удовлетворишься доступными функциями, ты сможешь вернуть его. В противном случае с Ceph тебе тоже может быть сложно добиться приемлемой производительности, так что POC здесь тоже полезен. Зеркальные загрузочные диски всегда должны быть, если это система для продакшена. Ты можешь столкнуться с проблемами настройки Corosync без коммутатора, и будет проще использовать даже 1Gb коммутатор только для этой функции. В любом случае, удачи и получай удовольствие с PVE. PS: Не забудь свою концепцию резервного копирования...
     
     
     
    ns33
    Guest
    #3
    0
    17.06.2025 16:07:00
    Спасибо! К счастью, процессоры во всех узлах одинаковые – семейство Xeon Skylake Scalable, так что настройки vCPU подойдут. Только один узел имеет GPU, поддерживающие vGPU напрямую, без всяких обходных путей, так что миграция будет просто стандартная VM/CT. А насчёт хранилища с Ceph: два тесно связанных друг с другом узла имеют 16ТБ корпоративных SSD, а вот третий, совсем другой, имеет 48ТБ корпоративных SSD. Возможно ли создать кластер Ceph, используя только 16ТБ из этих 48ТБ, чтобы он соответствовал 16ТБ в других узлах? Тогда я смогу создать ZFS-шару с оставшимися 32ТБ? Или установка Ceph просто говорит "моё" и берёт всё? Хотелось бы иметь возможность сделать PoC с NAS! Всё, что тронет эту систему, будет с ней связано. Если только поставщик не сможет предоставить гарантию стабильности, которую примет отдел кибербезопасности, или если поставщик готов покрыть стоимость тестовой единицы; нам просто нужно купить и попробовать. Поэтому я и предлагаю, в принципе, лучшее доступное.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры