У меня есть кластер с 8 серверами и 88 OSD, все прошло хорошо, и я решил добавить SSD Intel 3700 PCIe к каждому серверу для журналирования и отдельный пул SSD с остальным пространством. Разделы флеш-карт на всех серверах выглядят следующим образом: Code: oot@srv4332:~# parted /dev/nvme0n1 GNU Parted 3.2 Using /dev/nvme0n1 Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) print Model: Unknown (unknown) Disk /dev/nvme0n1: 800GB Sector size (logical/physical): 512B/512B Partition Table: gpt Disk Flags:
Number Start End Size File system Name Flags 1 1049kB 15.0GB 15.0GB journal-55 2 15.0GB 30.0GB 15.0GB journal-56 3 30.0GB 45.0GB 15.0GB journal-57 4 45.0GB 60.0GB 15.0GB journal-58 5 60.0GB 75.0GB 15.0GB journal-59 6 75.0GB 90.0GB 15.0GB journal-60 7 90.0GB 105GB 15.0GB journal-61 8 105GB 120GB 15.0GB journal-62 9 120GB 135GB 15.0GB journal-63 10 135GB 150GB 15.0GB journal-64 11 150GB 165GB 15.0GB journal-65 12 165GB 800GB 635GB SSDPool. Из-за 88 дисков я написал маленький скрипт, который выполняет изменения ПОШАГОВО: Code: #! /bin/sh ID=$1 if [ "x$ID" = "x" ]; then echo usage: fj.sh ID exit fi
FILE=/etc/pve/ceph.conf
echo Adding Journal $ID config to $FILE HOST=`hostname` IP=`hostname --ip-address` echo "[osd.$ID]" >> $FILE echo " host = $HOST" >> $FILE echo " public_addr = $IP" >> $FILE echo " cluster_addr = $IP" >> $FILE echo " osd_journal = /dev/disk/by-partlabel/journal-$ID" >> $FILE
echo Moving Journal to SSD for DEVICE $ID DEV=`findmnt -n -o SOURCE --target /var/lib/ceph/osd/ceph-$ID` echo DeviceName: $DEV echo stop ceph-osd@$ID systemctl stop ceph-osd@$ID echo flushing journal for ceph-osd@$ID ceph-osd -i $ID --flush-journal echo ReMounting Device $DEV umount /var/lib/ceph/osd/ceph-$ID mount $DEV /var/lib/ceph/osd/ceph-$ID echo making the journal for $ID ceph-osd -i $ID --mkjournal echo finally starting osd $ID again systemctl start ceph-osd@$ID. Все прошло хорошо... даже со скриптом это заняло около 2 часов для этих 88 дисков, но если я выполняю ceph-disk list, чтобы проверить, работает ли это, я получаю следующее: Code: /dev/nvme0n1 : /dev/nvme0n1p1 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p10 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p11 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p12 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p2 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p3 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p4 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p5 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p6 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p7 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p8 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/nvme0n1p9 other, 0fc63daf-8483-4772-8e79-3d69d8477de4 /dev/sda : /dev/sda1 other, 21686148-6449-6e6f-744e-656564454649 /dev/sda2 other, vfat, mounted on /boot/efi /dev/sda3 other, LVM2_member /dev/sdb : /dev/sdb1 ceph data, active, cluster ceph, osd.55, block /dev/sdb2 /dev/sdb2 ceph block, for /dev/sdb1 /dev/sdc : /dev/sdc1 ceph data, active, cluster ceph, osd.56, block /dev/sdc2 /dev/sdc2 ceph block, for /dev/sdc1 /dev/sdd : /dev/sdd1 ceph data, active, cluster ceph, osd.57, block /dev/sdd2 /dev/sdd2 ceph block, for /dev/sdd1 /dev/sde : /dev/sde1 ceph data, active, cluster ceph, osd.58, block /dev/sde2 /dev/sde2 ceph block, for /dev/sde1 /dev/sdf : /dev/sdf1 ceph data, active, cluster ceph, osd.59, block /dev/sdf2 /dev/sdf2 ceph block, for /dev/sdf1 /dev/sdg : /dev/sdg1 ceph data, active, cluster ceph, osd.60, block /dev/sdg2 /dev/sdg2 ceph block, for /dev/sdg1 /dev/sdh : /dev/sdh1 ceph data, active, cluster ceph, osd.61, block /dev/sdh2 /dev/sdh2 ceph block, for /dev/sdh1 /dev/sdi : /dev/sdi1 ceph data, active, cluster ceph, osd.62, block /dev/sdi2 /dev/sdi2 ceph block, for /dev/sdi1 /dev/sdj : /dev/sdj1 ceph data, active, cluster ceph, osd.63, block /dev/sdj2 /dev/sdj2 ceph block, for /dev/sdj1 /dev/sdk : /dev/sdk1 ceph data, active, cluster ceph, osd.64, block /dev/sdk2 /dev/sdk2 ceph block, for /dev/sdk1 /dev/sdl : /dev/sdl1 ceph data, active, cluster ceph, osd.65, block /dev/sdl2 /dev/sdl2 ceph block, for /dev/sdl1. Я не вижу журналы нигде, и не знаю, работают ли они. Скорость кластера при установке новой ВМ по-прежнему кажется медленной, как диск... Во-вторых, я хотел бы знать, как добавить ПОСЛЕДНИЙ раздел (SSDPool) в отдельный пул SSD. ceph-deploy не установлен на proxmox. Я читал, что это не поддерживается... вы знаете, как это сделать? Буду благодарен за помощь.
Спасибо еще раз за твою помощь! Мартин