Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Ceph гиперконвергировано на blade-серверах

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Ceph гиперконвергировано на blade-серверах, Proxmox Виртуальная Среда
     
    Paspao
    Guest
    #1
    0
    29.03.2019 11:22:00
    Здравствуйте, я рассматривал корпус Dell M1000E и блэйд-серверы, но вижу, что блэйд-серверы поддерживают только 2 диска. Если я начну с кластера из 4 узлов, у меня будет только 4 Ceph OSD (4 диска идут на загрузку). У вас есть опыт или рекомендации по гиперконвергенции на блэйд-серверах? Спасибо. P.
     
     
     
    navigator
    Guest
    #2
    0
    26.05.2023 16:34:00
    К сожалению, на это не было ответа. Но расскажу о своей ситуации. Мы только что купили партию Huawei E9000, которые, как мне кажется, соответствуют этой конфигурации. У нас 14 лезвий на одно шасси с аналогичной настройкой — дисками 2.5 дюйма. Одна из возможностей заключается в использовании NVMe-накопителей, так как в этой документации якобы утверждается: запуск нескольких OSD на одном SAS/SATA-диске — это не лучшая идея. Однако NVMe-накопители могут продемонстрировать лучшую производительность, если их разделить на два или более OSD. Так что сейчас я пытаюсь разобраться, как это можно реализовать. Я куплю несколько NVMe-накопителей для тестирования этого и создам базовый кластер из 3 узлов для испытаний, в то время как остальные 11 узлов временно будут настроены с локальным хранилищем и репликацией. Еще одна тема, которую я нашел, заключается в том, что кто-то утверждает, что такая конфигурация неадекватна. Так что я в раздумьях. В конечном итоге, если 1OSD/NVMe покажет большую производительность, я просто пойду этим путем, потому что с 14 лезвиями на кластер мне действительно не будет важно, если один узел или даже 4 или 5 будут отключены, потому что HA все переместит и все должно быть достаточно стабильно. В любом случае, надеюсь, эта тема поднимется, поскольку сегодня серверы на границе, скорее всего, будут шасси-серверами с лезвиями из-за переключения межсоединений и высокой производительности, и я не видел здесь никаких обсуждений на эту тему, что действительно привлекает мое внимание — как люди это делают. В любом случае, надеюсь, это поможет вам даже спустя несколько лет. Пожалуйста, если у вас есть какой-то опыт с этим, дайте знать.
     
     
     
    aaron
    Guest
    #3
    0
    26.05.2023 16:39:00
    На данный момент, если вы хотите создать несколько OSD / дисков, вам нужно создать их с помощью ceph-volume lvm batch --osds-per-device X /dev/nvme… . Если вы хотите построить кластер Ceph со стойками, имейте в виду, что зоны отказа могут немного отличаться, в зависимости от того, что располагается локально на стойке и что обрабатывается в шасси. Электричество, сетевые коммутаторы и так далее. Если вы используете размеры/min_size по умолчанию 3/2, Ceph будет работать нормально, пока теряется только один узел за раз с достаточным временем для восстановления до следующей потери узла.
     
     
     
    navigator
    Guest
    #4
    0
    26.05.2023 17:36:00
    Аарон, в случае сценария: E9000 Huawei с 7Blades CH121 (по 2 диска на лезвие (один диск для Proxmox OS + один диск для CephOSD)), какой был бы подходящий размер/минимальные настройки? Блоки питания и коммутаторы централизованы для этой системы (6 БП + 2 коммутатора). Предполагаю, что одна отказавшая нода — это риск, так что давайте скажем, две отказавшие ноды из 7 доступных. Можешь мне с этим помочь? Я совсем новичок в этом оборудовании, всегда работал с потребительскими настольными ПК в своих системах. У меня больше сомнений и вопросов, чем уверенности. Извини.
     
     
     
    jsterr
    Guest
    #5
    0
    26.05.2023 20:55:00
    В общем, тебе нужно выяснить, сколько блоков питания можно потерять, чтобы всё продолжало работать на всех узлах. Что произойдет, если один из шести БП выйдет из строя? Один лезвие оффлайн, два лезвия оффлайн? Это нужно выяснить, чтобы знать, сколько лезвий ты потеряешь из-за смерти БП или "выключения". При конфигурации 3:2 в семи узлах можно потерять только один узел за раз. Если ты успешно восстановишься после потери узла, можно потерять ещё один. И так далее, пока не останется три узла или один из дисков не достигнет 90-95% (посмотри соотношение mon osd full). Увеличить количество лезвий, которые можно потерять, можно, увеличив размер в Ceph. Например, 4:2 выдерживает два отказа лезвий одновременно. Легко можно представить это так: SIZE - MINSIZE = Серверы / Лезвия, которые можно потерять одновременно без простоя. Дополнение: Что ты надеешься достичь с этой конфигурацией лезвий? Почему не использовать обычные серверы?
     
     
     
    navigator
    Guest
    #6
    0
    26.05.2023 21:07:00
    Потому что эти серверы уже куплены, и они предлагают потребление 150 ватт на лезвие, всего 2.2 кВт на шасси для разгона 512 ГБ ОЗУ на лезвие (всего 7.2 ТБ ОЗУ), и идут с 2x24 ядрами ЦП на лезвие, всего 672 ядра по 3.2 ГГц. Энергоэффективность действительно хорошая, и у нас также есть два NFS для резервного копирования и большого хранения. Собираюсь принять те веса, которые вы рекомендовали.
     
     
     
    alexskysilk
    Guest
    #7
    0
    27.05.2023 01:09:00
    Просто к сведению, каждый из ваших процессоров, вероятно, потребляет около 135 Вт под нагрузкой. А оперативная память DDR4 потребляет примерно 2 Вт на 8 Гб для LR, 3 Вт для RDIMMs (больше для квадруплекса). И мы даже не учитывали сетевые карты, HBA, южные мосты и так далее. Даже если вашиBlade’ы не потребляют ЭНЕРГИЮ (что невозможно), вы не достигнете 150 Вт. Просто говорю. И они предназначены для высокоплотных вычислений, а не для хранения данных. В идеале хранилище должно поставляться снаружи корпуса.
     
     
     
    navigator
    Guest
    #8
    0
    27.05.2023 21:27:00
    Да, Алекс, у меня тоже есть 2 CH222 с 14 дисками каждый. Могу запустить там сервер Ceph? Да, потребление просто в холостую.
     
     
     
    alexskysilk
    Guest
    #9
    0
    27.05.2023 22:57:00
    Я почти ничего не знаю о устройствах Huawei, но если ты можешь настроить контроллер RAID в режим HBA или проходной режим, тогда да, ты сможешь. Имей в виду, что тебе нужно минимум 3 узла CH222, чтобы обеспечить достаточное количество целевых устройств для пула репликации 3:2.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры