Ключевые цели Ceph — это создание легко управляемой, надежной и масштабируемой архитектуры хранения. Замена OSD должна быть такой же простой, как замена старого диска и выполнение одной команды, которая затем вводит его в эксплуатацию. Типичные развертывания Ceph имеют количество OSD в сотнях или тысячах, а не в тех объемах, с которыми работает стандартный кластер Proxmox. Чтобы ответить на ваш вопрос, да, вы определенно можете, но это создаст сложную настройку, которую будет гораздо труднее отлаживать. У нас есть кластер из 6 серверов, каждый из которых имеет два SSD, разделенных для создания RAID 1 для системного диска и не-RAID для журналов для 4 файловых систем FileStore. Мы хотели повторно использовать все эти диски и заменить 6 дисков в каждом сервере на всего 2, гораздо более крупных и производительных SSD. Впоследствии мы разделили новые диски следующим образом: FakeMBR загрузочный раздел (1 МиБ), RAID1 раздел для операционной системы (10 ГиБ), RAID1 раздел для Swap (1 ГиБ), маленький раздел метаданных OSD BlueStore (100 МиБ) и раздел данных OSD BlueStore (остаток). Код: DEV=sdb
parted --script /dev/$DEV mklabel gpt;
parted --script /dev/$DEV mkpart bbp 2048s 4095s;
parted --script /dev/$DEV mkpart non-fs 4096s 20975615s;
parted --script /dev/$DEV mkpart non-fs 20975616s 23072767s;
parted --script /dev/$DEV mkpart '"ceph data"' 23072768s 23277567s;
parted --script /dev/$DEV mkpart '"ceph block"' 23277568s -- -1;
parted --script /dev/$DEV set 1 bios_grub on;
parted --script /dev/$DEV set 2 raid on;
parted --script /dev/$DEV set 3 raid on;
sgdisk -t 4:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/$DEV;
sgdisk -t 5:cafecafe-9b03-4f30-b4c6-b4b80ceff106 /dev/$DEV;
mdadm -a /dev/md0 /dev/"$DEV"2;
mdadm -a /dev/md1 /dev/"$DEV"3;
update-grub;
grub-install /dev/$DEV; ПС: Эти UUID sgdisk — это типовые коды, которые идентифицируют разделы GPT Ceph. ПС: Размеры секторов разделов основаны на 512b секторах. Разделите их на 8, если у вас есть 4Kn AF диски. Я педантичен и предпочитаю иметь предсказуемую нумерацию OSD, вот процесс для уничтожения и освобождения существующих OSD: Код: OSD=8;
ceph osd out $OSD;
systemctl stop ceph-osd@$OSD;
umount /var/lib/ceph/osd/ceph-$OSD;
rmdir /var/lib/ceph/osd/ceph-$OSD;
ceph osd destroy $OSD --yes-i-really-mean-it;
ceph osd crush remove osd.$OSD;
ceph osd rm $OSD; Чтобы создать OSD BlueStore с использованием пользовательских разделов: Код: DEV=sdb;
OSD=8;
mkfs -t xfs -f -i size=2048 -- /dev/"$DEV"4;
mkdir /var/lib/ceph/osd/ceph-$OSD;
mount -o noatime /dev/"$DEV"4 /var/lib/ceph/osd/ceph-$OSD;
cd /var/lib/ceph/osd/ceph-$OSD;
echo bluestore > type;
blkid -o udev -p /dev/"$DEV"5 | grep UUID;
# Скопируйте и вставьте строку ID_PART_ENTRY_UUID в вашу командную строку
ln -s /dev/disk/by-partuuid/$ID_PART_ENTRY_UUID block;
echo "$ID_PART_ENTRY_UUID" > block_uuid;
chown ceph.ceph . -R;
ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-$OSD/activate.monmap;
ceph-osd --setuser ceph -i $OSD --mkkey --mkfs;
ceph osd new `cat /var/lib/ceph/osd/ceph-$OSD/fsid` $OSD;
ceph auth add osd.$OSD osd 'allow *' mon 'allow profile osd' mgr 'allow profile osd' -i /var/lib/ceph/osd/ceph-$OSD/keyring; Финальный шаг — протестировать самопроверку. Сначала размонтируйте, затем вызовите udev: Код: cd /root;
umount /var/lib/ceph/osd/ceph-$OSD;
echo add > /sys/class/block/"$DEV"4/uevent;