Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    [TUTORIAL]Ceph - Классы, Правила и Пулы

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    [TUTORIAL]Ceph - Классы, Правила и Пулы, Proxmox Виртуальная Среда
     
    Seed
    Guest
    #1
    0
    10.11.2019 06:15:00
    Индекс: 1. Создание классов 2. Crushmap 3. Создание правил 4. Добавление пулов -------- Соединив информацию из различных источников, я подумал, что будет полезно собрать ее здесь для удобства использования. Если вы читаете эту тему, вероятно, вы уже знаете, что такое ceph и на что он способен. Для меня ceph оказался действительно классным, а proxmox в целом тоже очень крутой. В этом небольшом руководстве мы рассмотрим несколько моментов: классы OSD для ceph по умолчанию это HDD и SSD. Даже если у вас есть NVME-диски, они будут относиться к классу SSD. Это довольно печально. Это все равно что сделать SSD по умолчанию классом HDD. Нам действительно нужны три типа классов. Классы помогут изолировать способ назначения ВМ или LXC к этим классам, а это значит, что вы можете разместить одни вещи на HDD, другие на SSD, а даже третьи на супербыстрых NVMe-носителях. Например, я хочу хранить большой медиа-контент на HDD, а контейнеры, обрабатывающие данные, разместить на ВМ на дисках NVMe. SSD будет использоваться для других задач, которые не требуют высокой скорости или интенсивного хранения, например, для проверки цен на что-то в интернете. По умолчанию ceph добавляет все OSD в один пул, который вы создаете. Нет возможности изолировать устройства для конкретного пула, если не проводить дополнительные настройки. Если вы, как и некоторые из нас, имеете несколько узлов с несколькими типами устройств, возьмем, например, ssd, hdd и nvme. Как упоминалось выше, мы хотим сгруппировать их в пулы. Создание нового класса ​ Если вы не в курсе, классы — это способ категоризировать устройства на основе их скорости. Также можно создать классы по размеру, если хотите. Существует несколько способов использовать классы. В этом руководстве мы добавим класс nvme. Список OSD и их классов: ceph osd crush tree --show-shadow Код: ID  CLASS WEIGHT    TYPE NAME
    -16  nvme   4.54498 root default~nvme
    -10        37.75299     host host1
    13   hdd   9.09499         osd.13
    14   hdd   9.09499         osd.14
    15   hdd   9.09499         osd.15
    16   hdd   9.09499         osd.16
    20   ssd   0.90900         osd.20     (Эти .90900 диски, 1TB, являются NVME, но как видите, они относятся к классу SSD? Обратите внимание на номер osd, в данном случае osd.20.)
    17   ssd   0.46500         osd.17
    -7        37.74199     host host2
     8   hdd   9.09499         osd.8
     9   hdd   9.09499         osd.9
    10   hdd   9.09499         osd.10
    11   hdd   9.09499         osd.11
     7   ssd   0.90900         osd.7       ***
    18   ssd   0.45399         osd.18
    -3        39.56000     host host3
     0   hdd   9.09499         osd.0
     1   hdd   9.09499         osd.1
     2   hdd   9.09499         osd.2
     3   hdd   9.09499         osd.3
     4   ssd   0.90900         osd.4       ***
     5   ssd   0.90900         osd.5       ***
     6   ssd   0.90900         osd.6       ***
    19   ssd   0.45399         osd.19 *** Обратите внимание на ID устройств, которые вы хотите изменить, и уберите текущий класс и назначьте новый класс для устройства: Удалите класс ssd для устройства 20: ceph osd crush rm-device-class osd.20 Назначьте класс nvme для устройства 20: ceph osd crush set-device-class nvme osd.20 Сделайте это для всех ID OSD, которые вы хотите изменить на конкретный класс. Теперь нужно убедиться, что ceph не вернется к умолчанию для устройств, поэтому мы отключаем обновление при старте. Это позволит нам изменять классы, так как они не будут установлены при запуске. Измените локальный файл /etc/ceph/ceph.conf, добавив запись osd: Код: [osd]
    osd_class_update_on_start = false Думал, что нужно перезапустить службу osd, но прямо сейчас не уверен. systemctl restart ceph-osd.target Crushmap ​ Вы можете увидеть crushmap в интерфейсе @ Host >> Ceph >> Configuration Чтобы понять crushmap, нужно выполнить следующие действия. Экспортировать и декомпилировать crushmap Прочитать и отредактировать crushmap Импортировать crushmap Правила для пулов Получить скомпилированный файл crushmap ceph osd getcrushmap -o crushmap.compiled Декомпилировать crushmap crushtool -d crushmap.compiled -o crushmap.text Скомпилировать crushmap, сохраняя оригинальный скомпилированный файл crushmap (выберите, как хотите управлять файлами) crushtool -c crushmap.text -o crushmap.compiled.new Импортировать новый crushmap ceph osd setcrushmap -i crushmap.compiled.new Теперь, когда мы знаем, как редактировать crushmap, давайте это сделаем! Создание новых правил ​ Итак, мы создали новый класс, но он пока не выполняет никаких функций. Теперь нам нужно связать класс с правилом. Используя инструкции по crushmap выше, декомпилируйте и отредактируйте правила вашего crushmap. Имя правила по умолчанию с ID 0 что-то вроде replicated. Я решил удалить это правило и заменить его тремя правилами. Правила связывают классы с пулом, что мы и сделаем на последнем этапе. Удалите оригинальное правило id 0 и замените его этими тремя. Это работает для этого примера, так как у нас есть три типа устройств, но делайте, как считаете нужным в своей среде. Большинство создало бы правило для SSD и HDD, например. Код: # правила
    rule replicated_hdd {
       id 0
       type replicated
       min_size 1
       max_size 10
       step take default class hdd
       step chooseleaf firstn 0 type host
       step emit
    }
    rule replicated_ssd {
       id 1
       type replicated
       min_size 1
       max_size 10
       step take default class ssd
       step chooseleaf firstn 0 type host
       step emit
    }
    rule replicated_nvme {
       id 2
       type replicated
       min_size 1
       max_size 10
       step take default class nvme
       step chooseleaf firstn 0 type host
       step emit
    } Не забудьте скомпилировать и импортировать ваш новый файл crush! Вы можете протестировать crushfile так, но --show-X у меня по какой-то причине не работает на момент написания: crushtool -i crushmap.compiled.new --test --show-X Создание пула ​ Перейдите в интерфейс Proxmox Host >> Ceph >> Pools Создайте имя пула, например, pool-ssd, и привяжите новое правило к этому имени пула. Это приведет к тому, что любое новое устройство, связанное с конкретным классом, автоматически будет ассоциироваться с пулом в соответствии с вашими требованиями. Я считаю, это довольно круто. А вы? Ваши новые правила доступны при создании пула: Теперь вы можете сделать следующее: Загрузить образы ISO в ресурс пула, и ВСЕ узлы смогут установить их. Ура! Ceph является RBD-накопителем только в этом случае и поэтому не поддерживает тип содержимого изображений ISO. Только контейнеры и образы дисков, как мне кажется, теперь высокодоступность стала возможной, так как вы можете перемещать ВМ в эти общие пулы. Что я собираюсь протестировать завтра. Установите ВМ на носители, которые лучше всего подходят для ваших нужд. Наслаждайтесь!
     
     
     
    legionkayra
    Guest
    #2
    0
    07.02.2023 17:35:00
    Отлично, я согласен, поздравляю, это прекрасный вклад. Однако добавить эти значения уже нельзя в компиляцию.
     
     
     
    DC-CA1
    Guest
    #3
    0
    04.04.2023 14:12:00
    Я не вижу здесь, как создать класс, только как определить существующий. Я хочу добавить новые SSD, но не хочу, чтобы они использовали общую реплицированную настройку по умолчанию, поэтому я создал новое реплицированное правило. Но как создать новый класс, скажем, ssd_group2? Это возможно?
     
     
     
    aaron
    Guest
    #4
    0
    04.04.2023 14:20:00
    Вы можете просто указать это. Если вы создаете новый OSD в графическом интерфейсе, убедитесь, что флажок "Дополнительные параметры" включен. Затем выберите существующий или просто введите, как хотите его назвать.
     
     
     
    bigobx
    Guest
    #5
    0
    20.08.2023 17:20:00
    С точки зрения тестирования, у меня тоже есть nvme, ssd и sas hhd, так что я хочу настроить это. У меня к тебе быстрый вопрос: вместо того чтобы полностью менять правила, не мог бы я просто добавить эти три новые опции как варианты? То есть оставить большой OSD пул, созданный по умолчанию, и добавить эти, чтобы получить 4 варианта установки? Тогда я смогу провести простое параллельное тестирование. РЕДАКЦИЯ: Я протестировал это с интересными результатами: NVME - распределены по кластеру 3x Samsung Evo 500GB 2x Hynix 250GB Общее время теста: 20.1506 Общее количество записей: 2777 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 551.249 Стандартное отклонение пропускной способности: 107.437 Максимальная пропускная способность (МБ/с): 692 Минимальная пропускная способность (МБ/с): 288 Среднее количество IOPS: 137 Стандартное отклонение IOPS: 26.8592 Максимальное количество IOPS: 173 Минимальное количество IOPS: 72 Средняя задержка (с): 0.115974 Стандартное отклонение задержки (с): 0.0759412 Максимальная задержка (с): 0.457073 Минимальная задержка (с): 0.0163699 SSD - распределены по кластеру - 2 диска на узел Общее время теста: 21.554 Общее количество записей: 810 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 150.32 Стандартное отклонение пропускной способности: 45.7521 Максимальная пропускная способность (МБ/с): 224 Минимальная пропускная способность (МБ/с): 28 Среднее количество IOPS: 37 Стандартное отклонение IOPS: 11.438 Максимальное количество IOPS: 56 Минимальное количество IOPS: 7 Средняя задержка (с): 0.412821 Стандартное отклонение задержки (с): 0.547319 Максимальная задержка (с): 3.28206 Минимальная задержка (с): 0.0228456 HHD - ВСЕ на одной машине Не ожидал близкой второй позиции к NVME Это массив из 8 дисков (2x15k 6x10k) SAS диски Общее время теста: 20.2257 Общее количество записей: 2023 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 400.085 Стандартное отклонение пропускной способности: 104.448 Максимальная пропускная способность (МБ/с): 536 Минимальная пропускная способность (МБ/с): 116 Среднее количество IOPS: 100 Стандартное отклонение IOPS: 26.1119 Максимальное количество IOPS: 134 Минимальное количество IOPS: 29 Средняя задержка (с): 0.158852 Стандартное отклонение задержки (с): 0.239267 Максимальная задержка (с): 3.03524 Минимальная задержка (с): 0.0337089
     
     
     
    Tekuno-Kage
    Guest
    #6
    0
    15.11.2023 22:02:00
    После изменения пула на новое правило вы столкнулись с тем, что "Оптимальное количество PG" стало "н/д"? Пакетные версии: proxmox-ve: 7.4-1 (используемая версия ядра: 5.15.126-1-pve) pve-manager: 7.4-17 (используемая версия: 7.4-17/513c62be) pve-kernel-5.15: 7.4-7 pve-kernel-5.13: 7.1-9 pve-kernel-5.15.126-1-pve: 5.15.126-1 pve-kernel-5.15.111-1-pve: 5.15.111-1 pve-kernel-5.13.19-6-pve: 5.13.19-15 pve-kernel-5.13.19-2-pve: 5.13.19-4 pve-kernel-5.4.27-1-pve: 5.4.27-1 ceph: 17.2.6-pve1 ceph-fuse: 17.2.6-pve1 corosync: 3.1.7-pve1 criu: 3.15-1+pve-1 glusterfs-client: 9.2-1 ifupdown: неправильно установлено ifupdown2: 3.1.0-1+pmx4 ksm-control-daemon: 1.4-1 libjs-extjs: 7.0.0-1 libknet1: 1.24-pve2 libproxmox-acme-perl: 1.4.4 libproxmox-backup-qemu0: 1.3.1-1 libproxmox-rs-perl: 0.2.1 libpve-access-control: 7.4.1 libpve-apiclient-perl: 3.2-1 libpve-common-perl: 7.4-2 libpve-guest-common-perl: 4.2-4 libpve-http-server-perl: 4.2-3 libpve-network-perl: 0.7.3 libpve-rs-perl: 0.7.7 libpve-storage-perl: 7.4-3 libqb0: 1.0.5-1 libspice-server1: 0.14.3-2.1 lvm2: 2.03.11-2.1 lxc-pve: 5.0.2-2 lxcfs: 5.0.3-pve1 novnc-pve: 1.4.0-1 openvswitch-switch: неправильно установлено proxmox-backup-client: 2.4.3-1 proxmox-backup-file-restore: 2.4.3-1 proxmox-kernel-helper: 7.4-1 proxmox-mail-forward: 0.1.1-1 proxmox-mini-journalreader: 1.3-1 proxmox-offline-mirror-helper: 0.5.2 proxmox-widget-toolkit: 3.7.3 pve-cluster: 7.3-3 pve-container: 4.4-6 pve-docs: 7.4-2 pve-edk2-firmware: 3.20230228-4~bpo11+1 pve-firewall: 4.3-5 pve-firmware: 3.6-6 pve-ha-manager: 3.6.1 pve-i18n: 2.12-1 pve-qemu-kvm: 7.2.0-8 pve-xtermjs: 4.16.0-2 qemu-server: 7.4-4 smartmontools: 7.2-pve3 spiceterm: 3.2-2 swtpm: 0.8.0~bpo11+3 vncterm: 1.7-1 zfsutils-linux: 2.1.11-pve1
     
     
     
    aaron
    Guest
    #7
    0
    15.11.2023 23:04:00
    Как только вы начнете назначать правила, специфичные для устройств, вам следует назначить каждому пулу одно правило. В противном случае у вас, скорее всего, возникнет перекрытие: некоторые правила будут нацелены на конкретные классы устройств, в то время как правило по умолчанию replicated_rule не делает таких различий. Это приводит к неразрешимой ситуации для автоскалера, и, следовательно, к N/A оптимальному количеству PG.
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры