Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Многорегиональный Ceph + разнородное хост-железо?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Многорегиональный Ceph + разнородное хост-железо?, Proxmox Виртуальная Среда
     
    raynearch
    Guest
    #1
    0
    12.12.2022 18:38:00
    У меня небольшая проблема с текущим проектом, и я надеюсь, что кто-нибудь здесь поделится опытом. Для контекста, моя конечная цель — развернуть самохостимую службу S3 с репликацией в 3 дата-центрах (1 на западном побережье, 2 на восточном). У меня есть 6 серверов хранения (по 2 на каждый ЦОД), которые должны зеркалировать друг друга для максимальной избыточности (например, мы должны быть способны отключить сразу 5 из 6 серверов хранения и при этом оставаться работоспособными). Изначально я планировал использовать TrueNAS w/ Minio, но это стало невозможным по нескольким причинам. Сейчас я изучаю Ceph и SeaweedFS как возможные решения. Если я выберу Ceph на PVE, моя основная проблема в том, что у меня всего по x2 сервера хранения на каждый дата-центр, что, насколько я понимаю, не соответствует минимальным требованиям. Однако, у меня есть по x3 утилитарных сервера в каждом ЦОД, которые я и так планировал использовать для кластера HA PVE. Серверы хранения — Supermicro SC847 (36-Bay), загруженные по x24 16TB Exos SAS HDD/шт. Утилитарные серверы — Dell R430 SFF. Я знаю, что можно создавать кластеры PVE с различным оборудованием (хотя это и потенциально нежелательно для HA), но у меня нет опыта работы с Ceph-кластерами… отсюда и моя просьба о совете. Если я создам кластер в каждом дата-центре, содержащий по x2 Supermicro и x3 R430, может ли это быть жизнеспособным решением? Или я просто создам себе проблемы в будущем?
     
     
     
    navigator
    Guest
    #2
    0
    08.03.2024 03:51:00
    Вверх, пожалуйста.
     
     
     
    pvps1
    Guest
    #3
    0
    08.03.2024 09:05:00
    Не эксперт, но вот мои мысли: 5 из 6 серверов упасть — это невозможно. Нужен валидный кворум, то есть 50%+1. Если тебе критически важна высокая доступность хранилища в 3 DC-зонах, лучше немного больше вложить (тогда ты редко получишь ситуацию 5/6). Если я смотрю на стоимость пропускной способности между востоком и западом (действительно ли это так дешево в США?), мне сложно представить, что добавление нескольких серверов станет проблемой бюджета. Если я вижу большие серверы хранения в Ceph (36 вращающихся дисков), я думаю о том, что произойдет, если такая большая машина выйдет из строя, перезагрузится и т.д. На мой взгляд, лучше иметь много небольших машин. Больше избыточности, больше балансировки нагрузки, меньше проблем при сбоях. Конечно, это может быть дороже (стойки, коммутаторы, оборудование, энергия), но опять же, если я смотрю на стоимость темного волокна или 100-гигабитного волокна по всей стране (с резервированием?), я не вижу проблем с финансированием нормального оборудования во всех локациях.
     
     
     
    navigator
    Guest
    #4
    0
    08.03.2024 18:09:00
    Если у вас 3 DataCenter, то это не должно быть проблемой. Один DataCenter может полностью выйти из строя или потерять часть своих ресурсов, и это всё равно будет High Availability (HA).
     
     
     
    navigator
    Guest
    #5
    0
    08.03.2024 23:05:00
    @pvps а ты такое делал? Ну, типа Ceph Multi Location? https://docs.ceph.com/en/quincy/radosgw/multisite/
     
     
     
    pille99
    Guest
    #6
    0
    08.03.2024 23:57:00
    Стоимость трафика репликации убьёт тебя. 24x16 ТБ. Это значит, у тебя будет много ВМ на серверах. Не забывай – с Ceph всё записывается несколько раз (в реальном времени) на каждого участника Ceph OSD. Согласен с предыдущим ответом: лучше иметь много небольших серверов, чем один большой. Судя по твоему описанию местоположения, как Azure, ты предлагаешь услуги, основанные на местоположении (восток, запад). Зачем тебе реплицировать трафик во все локации? Я бы, и не тратил много времени на проектирование архитектуры, поставил кластер в каждой локации, который подстрахован планом резервного копирования ЦОД. Обычно ЦОД имеет резервный сайт, реплицируй туда. Стоимость трафика тебя не убьёт, а резервный сайт подключен к основному сайту с широкой полосой пропускания. Это только первое соображение и не идеальный план, но именно так я бы работал.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры