Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Ceph Server: почему блочные устройства, а не разделы?

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Ceph Server: почему блочные устройства, а не разделы?, Proxmox Виртуальная Среда
     
    Florent
    Guest
    #1
    0
    19.02.2014 17:07:00
    Всем привет, я тестирую Ceph Server с Proxmox, но у меня небольшая проблема. У моих серверов по 2 диска, которые раскиданы по RAID (sda1 и sdb1 в зеркале). Я хотел бы использовать sda2 и sdb2 для своих OSD в Ceph. Но, похоже, что все скрипты от PVE используют блочные устройства напрямую, а не разделы. Есть ли способ использовать разделы вместо устройств напрямую? Я смотрел на петлевые устройства, но не смог создать виртуальное "sdz", которое отображается в /sys/block (PVE использует это для получения всех дисков). У кого-то есть идеи? Спасибо.
     
     
     
    zystem
    Guest
    #2
    0
    13.03.2014 18:09:00
    Но вы можете добавить поддержку разделов для утилит командной строки. Мне не нужна полная поддержка разделов в графическом интерфейсе (существующая подходит). Можете ли вы добавить поддержку разделов в "pveceph createosd /dev/sd[X]", как в "pveceph createosd /dev/sdd4"?
     
     
     
    Florent
    Guest
    #3
    0
    13.03.2014 18:23:00
    Посмотрите на источники... то, как они это делают, не позволяет сделать то, что вы хотите. Но посмотрите на мой пост (http://forum.proxmox.com/threads/17909-Ceph-server-feedback), я даю решение, как это сделать.
     
     
     
    zystem
    Guest
    #4
    0
    14.03.2014 14:23:00
    Да, это звучит разумно. Но почему не добавить поддержку разделов для журнала диска? Или добавить возможность вводить путь к журналам в интерфейсе вместо диска? Я хочу сохранить журналы на первом диске, где установлен корневой раздел proxmox. У меня нет бесконечного пространства для дополнительных дисков в корпусе сервера. Почему не использовать быстрый диск для журналов И установки proxmox?
     
     
     
    dietmar
    Guest
    #5
    0
    14.03.2014 15:42:00
    Я думаю, что это не имеет смысла из-за проблем с производительностью.
     
     
     
    avladulescu
    Guest
    #6
    0
    21.12.2015 04:31:00
    dietmar, давай я приведу пример использования таких требований. Рассмотрим следующий случай — настройка HA кластера из 5 узлов Proxmox, каждый с 1 SSD Kingston V300 на 120 ГБ для журнальной записи и 1 твердотельным накопителем Intel 750 на 400 ГБ NVMe. Кластер все еще проходит тестирование производительности, и тестирование NVMes, как локальное хранилище, показывает результаты fio в диапазоне (внутри VM) 101k чтения, 64k записи и 64k чтения/22k записи в комбинированном режиме. Теперь, с настроенным кластером Ceph для дисков Kingston для журнальной записи и Intel как OSD, производительность падает до 25354 для IOPS чтения (внутри той же VM — после миграции хранения на новую настройку), так что не нужно углубляться в остальное, ведь ты, вероятно, уже сам это понял. Настройка Ceph является базовой, предусмотренной в процедуре развертывания pveceph, и соединение между узлами не осуществляется через 1 Gbps ссылки. Я подозреваю, что замедление связано с плохими показателями производительности дисков Kingston, но чтобы это подтвердить, я вручную настрою журналы и OSD на разных разделах Intel 750. Основной и конечный ожидаемый результат здесь — достичь избыточности хранения (а не высоких объемов хранения) и высокой нагрузки IOPS для базы данных. Так что ты как думаешь, стоит ли реализовать разделение в этом случае? Потому что NVMe способны одновременно поддерживать журналы и чтение/запись данных без проблем (учитывая характеристики одной карты).
     
     
     
    David Herselman
    Guest
    #7
    0
    13.03.2019 13:27:00
    Ключевые цели Ceph — это создание легко управляемой, надежной и масштабируемой архитектуры хранения. Замена OSD должна быть такой же простой, как замена старого диска и выполнение одной команды, которая затем вводит его в эксплуатацию. Типичные развертывания Ceph имеют количество OSD в сотнях или тысячах, а не в тех объемах, с которыми работает стандартный кластер Proxmox. Чтобы ответить на ваш вопрос, да, вы определенно можете, но это создаст сложную настройку, которую будет гораздо труднее отлаживать. У нас есть кластер из 6 серверов, каждый из которых имеет два SSD, разделенных для создания RAID 1 для системного диска и не-RAID для журналов для 4 файловых систем FileStore. Мы хотели повторно использовать все эти диски и заменить 6 дисков в каждом сервере на всего 2, гораздо более крупных и производительных SSD. Впоследствии мы разделили новые диски следующим образом: FakeMBR загрузочный раздел (1 МиБ), RAID1 раздел для операционной системы (10 ГиБ), RAID1 раздел для Swap (1 ГиБ), маленький раздел метаданных OSD BlueStore (100 МиБ) и раздел данных OSD BlueStore (остаток). Код: DEV=sdb
    parted --script /dev/$DEV mklabel gpt;
    parted --script /dev/$DEV mkpart bbp 2048s 4095s;
    parted --script /dev/$DEV mkpart non-fs 4096s 20975615s;
    parted --script /dev/$DEV mkpart non-fs 20975616s 23072767s;
    parted --script /dev/$DEV mkpart '"ceph data"' 23072768s 23277567s;
    parted --script /dev/$DEV mkpart '"ceph block"' 23277568s -- -1;
    parted --script /dev/$DEV set 1 bios_grub on;
    parted --script /dev/$DEV set 2 raid on;
    parted --script /dev/$DEV set 3 raid on;
    sgdisk -t 4:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/$DEV;
    sgdisk -t 5:cafecafe-9b03-4f30-b4c6-b4b80ceff106 /dev/$DEV;

    mdadm -a /dev/md0 /dev/"$DEV"2;
    mdadm -a /dev/md1 /dev/"$DEV"3;
    update-grub;
    grub-install /dev/$DEV; ПС: Эти UUID sgdisk — это типовые коды, которые идентифицируют разделы GPT Ceph. ПС: Размеры секторов разделов основаны на 512b секторах. Разделите их на 8, если у вас есть 4Kn AF диски. Я педантичен и предпочитаю иметь предсказуемую нумерацию OSD, вот процесс для уничтожения и освобождения существующих OSD: Код: OSD=8;
    ceph osd out $OSD;
    systemctl stop ceph-osd@$OSD;
    umount /var/lib/ceph/osd/ceph-$OSD;
    rmdir /var/lib/ceph/osd/ceph-$OSD;
    ceph osd destroy $OSD --yes-i-really-mean-it;
    ceph osd crush remove osd.$OSD;
    ceph osd rm $OSD; Чтобы создать OSD BlueStore с использованием пользовательских разделов: Код: DEV=sdb;
    OSD=8;
    mkfs -t xfs -f -i size=2048 -- /dev/"$DEV"4;
    mkdir /var/lib/ceph/osd/ceph-$OSD;
    mount -o noatime /dev/"$DEV"4 /var/lib/ceph/osd/ceph-$OSD;
    cd /var/lib/ceph/osd/ceph-$OSD;
    echo bluestore > type;
    blkid -o udev -p /dev/"$DEV"5 | grep UUID;
    # Скопируйте и вставьте строку ID_PART_ENTRY_UUID в вашу командную строку
    ln -s /dev/disk/by-partuuid/$ID_PART_ENTRY_UUID block;
    echo "$ID_PART_ENTRY_UUID" > block_uuid;
    chown ceph.ceph . -R;
    ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-$OSD/activate.monmap;
    ceph-osd --setuser ceph -i $OSD --mkkey --mkfs;
    ceph osd new `cat /var/lib/ceph/osd/ceph-$OSD/fsid` $OSD;
    ceph auth add osd.$OSD osd 'allow *' mon 'allow profile osd' mgr 'allow profile osd' -i /var/lib/ceph/osd/ceph-$OSD/keyring; Финальный шаг — протестировать самопроверку. Сначала размонтируйте, затем вызовите udev: Код: cd /root;
    umount /var/lib/ceph/osd/ceph-$OSD;
    echo add > /sys/class/block/"$DEV"4/uevent;
     
     
     
    noahmehl
    Guest
    #8
    0
    15.09.2019 21:51:00
    Я создал скрипт для Proxmox v6.0.7, который берет 2TB Intel P4600 HHHL nvme и создает 4 OSD размером примерно по 500GB каждый. Это предполагает, что ваши номера OSD начинаются с 0, и это соответствует количеству разделов. Этот скрипт можно обновить, чтобы он брал следующий номер OSD. Код: #!/bin/bash
    set -x

    OSD_UUID=$(uuidgen -r)
    VG_UUID=$(uuidgen -r)
    PTYPE_UUID=4fbd7e29-9d25-41b8-afd0-062c0ceff05d
    OSD_KEY=$(ceph-authtool --gen-print-key)
    OSD_START_PARTITION="$((($OSD_NUMBER - $OSD_OFFSET) * 500))GB"
    OSD_END_PARTITION="$((($OSD_NUMBER - $OSD_OFFSET + 1) * 500))GB"
    PARTITION_NUMBER=$(($OSD_NUMBER - $OSD_OFFSET + 1))

    if [ -z $OSD_OFFSET ]
       then OSD_OFFSET=0
    fi

    if [ $(($OSD_NUMBER - $OSD_OFFSET)) == 0 ]
       then
           OSD_START_PARTITION=1
    fi

    parted --script $DEVICE mkpart '"temp"' $OSD_START_PARTITION $OSD_END_PARTITION
    sgdisk --change-name="$PARTITION_NUMBER:ceph data" --partition-guid="$PARTITION_NUMBER:$OSD_UUID" --typecode="$PARTITION_NUMBER:$PTYPE_UUID" -- $DEVICE
    partprobe
    vgcreate -s 1G --force --yes ceph-$VG_UUID "$DEVICE"p"$PARTITION_NUMBER"
    lvcreate --yes -l 100%FREE -n osd-block-$OSD_UUID ceph-$VG_UUID
    ceph-volume lvm prepare --bluestore --data /dev/ceph-$VG_UUID/osd-block-$OSD_UUID --osd-fsid $OSD_UUID --crush-device-class nvme
    ceph-volume lvm activate --bluestore $OSD_NUMBER $OSD_UUID Вы бы запускали это так: # for i in {0..3}; do DEVICE=/dev/nvme0n1 OSD_NUMBER=$i OSD_OFFSET=0 ./nvme-create.sh; done
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры