<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
	<channel>
		<title>Аспро: ЛайтШоп [тема: Ceph Server: почему блочные устройства, а не разделы?]</title>
		<link>http://proxmox.su</link>
		<description>Новое в теме Ceph Server: почему блочные устройства, а не разделы? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su]</description>
		<language>ru</language>
		<docs>http://backend.userland.com/rss2</docs>
		<pubDate>Mon, 16 Nov 2026 06:52:12 +0300</pubDate>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372453/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Я создал скрипт для Proxmox v6.0.7, который берет 2TB Intel P4600 HHHL nvme и создает 4 OSD размером примерно по 500GB каждый. Это предполагает, что ваши номера OSD начинаются с 0, и это соответствует количеству разделов. Этот скрипт можно обновить, чтобы он брал следующий номер OSD. Код: #!/bin/bash<br />set -x<br /><br />OSD_UUID=$(uuidgen -r)<br />VG_UUID=$(uuidgen -r)<br />PTYPE_UUID=4fbd7e29-9d25-41b8-afd0-062c0ceff05d<br />OSD_KEY=$(ceph-authtool --gen-print-key)<br />OSD_START_PARTITION="$((($OSD_NUMBER - $OSD_OFFSET) * 500))GB"<br />OSD_END_PARTITION="$((($OSD_NUMBER - $OSD_OFFSET + 1) * 500))GB"<br />PARTITION_NUMBER=$(($OSD_NUMBER - $OSD_OFFSET + 1))<br /><br />if [ -z $OSD_OFFSET ]<br /> &nbsp; &nbsp;then OSD_OFFSET=0<br />fi<br /><br />if [ $(($OSD_NUMBER - $OSD_OFFSET)) == 0 ]<br /> &nbsp; &nbsp;then<br /> &nbsp; &nbsp; &nbsp; &nbsp;OSD_START_PARTITION=1<br />fi<br /><br />parted --script $DEVICE mkpart '"temp"' $OSD_START_PARTITION $OSD_END_PARTITION<br />sgdisk --change-name="$PARTITION_NUMBER:ceph data" --partition-guid="$PARTITION_NUMBER:$OSD_UUID" --typecode="$PARTITION_NUMBER:$PTYPE_UUID" -- $DEVICE<br />partprobe<br />vgcreate -s 1G --force --yes ceph-$VG_UUID "$DEVICE"p"$PARTITION_NUMBER"<br />lvcreate --yes -l 100%FREE -n osd-block-$OSD_UUID ceph-$VG_UUID<br />ceph-volume lvm prepare --bluestore --data /dev/ceph-$VG_UUID/osd-block-$OSD_UUID --osd-fsid $OSD_UUID --crush-device-class nvme<br />ceph-volume lvm activate --bluestore $OSD_NUMBER $OSD_UUID Вы бы запускали это так: # for i in {0..3}; do DEVICE=/dev/nvme0n1 OSD_NUMBER=$i OSD_OFFSET=0 ./nvme-create.sh; done <br />
			<i>15.09.2019 21:51:00, noahmehl.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372453/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372453/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Sun, 15 Sep 2019 21:51:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372452/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Ключевые цели Ceph — это создание легко управляемой, надежной и масштабируемой архитектуры хранения. Замена OSD должна быть такой же простой, как замена старого диска и выполнение одной команды, которая затем вводит его в эксплуатацию. Типичные развертывания Ceph имеют количество OSD в сотнях или тысячах, а не в тех объемах, с которыми работает стандартный кластер Proxmox. Чтобы ответить на ваш вопрос, да, вы определенно можете, но это создаст сложную настройку, которую будет гораздо труднее отлаживать. У нас есть кластер из 6 серверов, каждый из которых имеет два SSD, разделенных для создания RAID 1 для системного диска и не-RAID для журналов для 4 файловых систем FileStore. Мы хотели повторно использовать все эти диски и заменить 6 дисков в каждом сервере на всего 2, гораздо более крупных и производительных SSD. Впоследствии мы разделили новые диски следующим образом: FakeMBR загрузочный раздел (1 МиБ), RAID1 раздел для операционной системы (10 ГиБ), RAID1 раздел для Swap (1 ГиБ), маленький раздел метаданных OSD BlueStore (100 МиБ) и раздел данных OSD BlueStore (остаток). Код: DEV=sdb<br />parted --script /dev/$DEV mklabel gpt; <br />parted --script /dev/$DEV mkpart bbp 2048s 4095s; <br />parted --script /dev/$DEV mkpart non-fs 4096s 20975615s; <br />parted --script /dev/$DEV mkpart non-fs 20975616s 23072767s; <br />parted --script /dev/$DEV mkpart '"ceph data"' 23072768s 23277567s; <br />parted --script /dev/$DEV mkpart '"ceph block"' 23277568s -- -1; <br />parted --script /dev/$DEV set 1 bios_grub on; <br />parted --script /dev/$DEV set 2 raid on; <br />parted --script /dev/$DEV set 3 raid on; <br />sgdisk -t 4:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/$DEV; <br />sgdisk -t 5:cafecafe-9b03-4f30-b4c6-b4b80ceff106 /dev/$DEV;<br /><br />mdadm -a /dev/md0 /dev/"$DEV"2; <br />mdadm -a /dev/md1 /dev/"$DEV"3; <br />update-grub; <br />grub-install /dev/$DEV; ПС: Эти UUID sgdisk — это типовые коды, которые идентифицируют разделы GPT Ceph. ПС: Размеры секторов разделов основаны на 512b секторах. Разделите их на 8, если у вас есть 4Kn AF диски. Я педантичен и предпочитаю иметь предсказуемую нумерацию OSD, вот процесс для уничтожения и освобождения существующих OSD: Код: OSD=8; <br />ceph osd out $OSD; <br />systemctl stop ceph-osd@$OSD; <br />umount /var/lib/ceph/osd/ceph-$OSD; <br />rmdir /var/lib/ceph/osd/ceph-$OSD; <br />ceph osd destroy $OSD --yes-i-really-mean-it; <br />ceph osd crush remove osd.$OSD; <br />ceph osd rm $OSD; Чтобы создать OSD BlueStore с использованием пользовательских разделов: Код: DEV=sdb; <br />OSD=8; <br />mkfs -t xfs -f -i size=2048 -- /dev/"$DEV"4; <br />mkdir /var/lib/ceph/osd/ceph-$OSD; <br />mount -o noatime /dev/"$DEV"4 /var/lib/ceph/osd/ceph-$OSD; <br />cd /var/lib/ceph/osd/ceph-$OSD; <br />echo bluestore &gt; type; <br />blkid -o udev -p /dev/"$DEV"5 | grep UUID; <br /># Скопируйте и вставьте строку ID_PART_ENTRY_UUID в вашу командную строку <br />ln -s /dev/disk/by-partuuid/$ID_PART_ENTRY_UUID block; <br />echo "$ID_PART_ENTRY_UUID" &gt; block_uuid; <br />chown ceph.ceph . -R; <br />ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-$OSD/activate.monmap; <br />ceph-osd --setuser ceph -i $OSD --mkkey --mkfs; <br />ceph osd new `cat /var/lib/ceph/osd/ceph-$OSD/fsid` $OSD; <br />ceph auth add osd.$OSD osd 'allow *' mon 'allow profile osd' mgr 'allow profile osd' -i /var/lib/ceph/osd/ceph-$OSD/keyring; Финальный шаг — протестировать самопроверку. Сначала размонтируйте, затем вызовите udev: Код: cd /root; <br />umount /var/lib/ceph/osd/ceph-$OSD; <br />echo add &gt; /sys/class/block/"$DEV"4/uevent; <br />
			<i>13.03.2019 13:27:00, David Herselman.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372452/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372452/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Wed, 13 Mar 2019 13:27:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372451/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			dietmar, давай я приведу пример использования таких требований. Рассмотрим следующий случай — настройка HA кластера из 5 узлов Proxmox, каждый с 1 SSD Kingston V300 на 120 ГБ для журнальной записи и 1 твердотельным накопителем Intel 750 на 400 ГБ NVMe. Кластер все еще проходит тестирование производительности, и тестирование NVMes, как локальное хранилище, показывает результаты fio в диапазоне (внутри VM) 101k чтения, 64k записи и 64k чтения/22k записи в комбинированном режиме. Теперь, с настроенным кластером Ceph для дисков Kingston для журнальной записи и Intel как OSD, производительность падает до 25354 для IOPS чтения (внутри той же VM — после миграции хранения на новую настройку), так что не нужно углубляться в остальное, ведь ты, вероятно, уже сам это понял. Настройка Ceph является базовой, предусмотренной в процедуре развертывания pveceph, и соединение между узлами не осуществляется через 1 Gbps ссылки. Я подозреваю, что замедление связано с плохими показателями производительности дисков Kingston, но чтобы это подтвердить, я вручную настрою журналы и OSD на разных разделах Intel 750. Основной и конечный ожидаемый результат здесь — достичь избыточности хранения (а не высоких объемов хранения) и высокой нагрузки IOPS для базы данных. Так что ты как думаешь, стоит ли реализовать разделение в этом случае? Потому что NVMe способны одновременно поддерживать журналы и чтение/запись данных без проблем (учитывая характеристики одной карты). <br />
			<i>21.12.2015 04:31:00, avladulescu.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372451/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372451/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Mon, 21 Dec 2015 04:31:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372450/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Я думаю, что это не имеет смысла из-за проблем с производительностью. <br />
			<i>14.03.2014 15:42:00, dietmar.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372450/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372450/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Fri, 14 Mar 2014 15:42:00 +0400</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372449/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Да, это звучит разумно. Но почему не добавить поддержку разделов для журнала диска? Или добавить возможность вводить путь к журналам в интерфейсе вместо диска? Я хочу сохранить журналы на первом диске, где установлен корневой раздел proxmox. У меня нет бесконечного пространства для дополнительных дисков в корпусе сервера. Почему не использовать быстрый диск для журналов И установки proxmox? <br />
			<i>14.03.2014 14:23:00, zystem.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372449/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372449/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Fri, 14 Mar 2014 14:23:00 +0400</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372448/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Посмотрите на источники... то, как они это делают, не позволяет сделать то, что вы хотите. Но посмотрите на мой пост (<noindex><a href="http://forum.proxmox.com/threads/17909-Ceph-server-feedback" target="_blank" rel="nofollow" >http://forum.proxmox.com/threads/17909-Ceph-server-feedback</a></noindex>), я даю решение, как это сделать. <br />
			<i>13.03.2014 18:23:00, Florent.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372448/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372448/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Thu, 13 Mar 2014 18:23:00 +0400</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372447/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Но вы можете добавить поддержку разделов для утилит командной строки. Мне не нужна полная поддержка разделов в графическом интерфейсе (существующая подходит). Можете ли вы добавить поддержку разделов в "pveceph createosd /dev/sd[X]", как в "pveceph createosd /dev/sdd4"? <br />
			<i>13.03.2014 18:09:00, zystem.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372447/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372447/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Thu, 13 Mar 2014 18:09:00 +0400</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Ceph Server: почему блочные устройства, а не разделы?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message372446/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely">Ceph Server: почему блочные устройства, а не разделы?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Всем привет, я тестирую Ceph Server с Proxmox, но у меня небольшая проблема. У моих серверов по 2 диска, которые раскиданы по RAID (sda1 и sdb1 в зеркале). Я хотел бы использовать sda2 и sdb2 для своих OSD в Ceph. Но, похоже, что все скрипты от PVE используют блочные устройства напрямую, а не разделы. Есть ли способ использовать разделы вместо устройств напрямую? Я смотрел на петлевые устройства, но не смог создать виртуальное "sdz", которое отображается в /sys/block (PVE использует это для получения всех дисков). У кого-то есть идеи? Спасибо. <br />
			<i>19.02.2014 17:07:00, Florent.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message372446/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</link>
			<guid>http://proxmox.su/forum/messages/forum63/message372446/83026-ceph-server_-pochemu-blochnye-ustroystva_-a-ne-razdely</guid>
			<pubDate>Wed, 19 Feb 2014 17:07:00 +0400</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
	</channel>
</rss>
