<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
	<channel>
		<title>Аспро: ЛайтШоп [тема: [TUTORIAL]Ceph - Классы, Правила и Пулы]</title>
		<link>http://proxmox.su</link>
		<description>Новое в теме [TUTORIAL]Ceph - Классы, Правила и Пулы форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su]</description>
		<language>ru</language>
		<docs>http://backend.userland.com/rss2</docs>
		<pubDate>Sat, 21 Nov 2026 15:08:58 +0300</pubDate>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370690/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Как только вы начнете назначать правила, специфичные для устройств, вам следует назначить каждому пулу одно правило. В противном случае у вас, скорее всего, возникнет перекрытие: некоторые правила будут нацелены на конкретные классы устройств, в то время как правило по умолчанию replicated_rule не делает таких различий. Это приводит к неразрешимой ситуации для автоскалера, и, следовательно, к N/A оптимальному количеству PG. <br />
			<i>15.11.2023 23:04:00, aaron.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370690/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370690/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Wed, 15 Nov 2023 23:04:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370689/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			После изменения пула на новое правило вы столкнулись с тем, что "Оптимальное количество PG" стало "н/д"? Пакетные версии: proxmox-ve: 7.4-1 (используемая версия ядра: 5.15.126-1-pve) pve-manager: 7.4-17 (используемая версия: 7.4-17/513c62be) pve-kernel-5.15: 7.4-7 pve-kernel-5.13: 7.1-9 pve-kernel-5.15.126-1-pve: 5.15.126-1 pve-kernel-5.15.111-1-pve: 5.15.111-1 pve-kernel-5.13.19-6-pve: 5.13.19-15 pve-kernel-5.13.19-2-pve: 5.13.19-4 pve-kernel-5.4.27-1-pve: 5.4.27-1 ceph: 17.2.6-pve1 ceph-fuse: 17.2.6-pve1 corosync: 3.1.7-pve1 criu: 3.15-1+pve-1 glusterfs-client: 9.2-1 ifupdown: неправильно установлено ifupdown2: 3.1.0-1+pmx4 ksm-control-daemon: 1.4-1 libjs-extjs: 7.0.0-1 libknet1: 1.24-pve2 libproxmox-acme-perl: 1.4.4 libproxmox-backup-qemu0: 1.3.1-1 libproxmox-rs-perl: 0.2.1 libpve-access-control: 7.4.1 libpve-apiclient-perl: 3.2-1 libpve-common-perl: 7.4-2 libpve-guest-common-perl: 4.2-4 libpve-http-server-perl: 4.2-3 libpve-network-perl: 0.7.3 libpve-rs-perl: 0.7.7 libpve-storage-perl: 7.4-3 libqb0: 1.0.5-1 libspice-server1: 0.14.3-2.1 lvm2: 2.03.11-2.1 lxc-pve: 5.0.2-2 lxcfs: 5.0.3-pve1 novnc-pve: 1.4.0-1 openvswitch-switch: неправильно установлено proxmox-backup-client: 2.4.3-1 proxmox-backup-file-restore: 2.4.3-1 proxmox-kernel-helper: 7.4-1 proxmox-mail-forward: 0.1.1-1 proxmox-mini-journalreader: 1.3-1 proxmox-offline-mirror-helper: 0.5.2 proxmox-widget-toolkit: 3.7.3 pve-cluster: 7.3-3 pve-container: 4.4-6 pve-docs: 7.4-2 pve-edk2-firmware: 3.20230228-4~bpo11+1 pve-firewall: 4.3-5 pve-firmware: 3.6-6 pve-ha-manager: 3.6.1 pve-i18n: 2.12-1 pve-qemu-kvm: 7.2.0-8 pve-xtermjs: 4.16.0-2 qemu-server: 7.4-4 smartmontools: 7.2-pve3 spiceterm: 3.2-2 swtpm: 0.8.0~bpo11+3 vncterm: 1.7-1 zfsutils-linux: 2.1.11-pve1 <br />
			<i>15.11.2023 22:02:00, Tekuno-Kage.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370689/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370689/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Wed, 15 Nov 2023 22:02:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370688/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			С точки зрения тестирования, у меня тоже есть nvme, ssd и sas hhd, так что я хочу настроить это. У меня к тебе быстрый вопрос: вместо того чтобы полностью менять правила, не мог бы я просто добавить эти три новые опции как варианты? То есть оставить большой OSD пул, созданный по умолчанию, и добавить эти, чтобы получить 4 варианта установки? Тогда я смогу провести простое параллельное тестирование. РЕДАКЦИЯ: Я протестировал это с интересными результатами: NVME - распределены по кластеру 3x Samsung Evo 500GB 2x Hynix 250GB Общее время теста: 20.1506 Общее количество записей: 2777 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 551.249 Стандартное отклонение пропускной способности: 107.437 Максимальная пропускная способность (МБ/с): 692 Минимальная пропускная способность (МБ/с): 288 Среднее количество IOPS: 137 Стандартное отклонение IOPS: 26.8592 Максимальное количество IOPS: 173 Минимальное количество IOPS: 72 Средняя задержка (с): 0.115974 Стандартное отклонение задержки (с): 0.0759412 Максимальная задержка (с): 0.457073 Минимальная задержка (с): 0.0163699 SSD - распределены по кластеру - 2 диска на узел Общее время теста: 21.554 Общее количество записей: 810 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 150.32 Стандартное отклонение пропускной способности: 45.7521 Максимальная пропускная способность (МБ/с): 224 Минимальная пропускная способность (МБ/с): 28 Среднее количество IOPS: 37 Стандартное отклонение IOPS: 11.438 Максимальное количество IOPS: 56 Минимальное количество IOPS: 7 Средняя задержка (с): 0.412821 Стандартное отклонение задержки (с): 0.547319 Максимальная задержка (с): 3.28206 Минимальная задержка (с): 0.0228456 HHD - ВСЕ на одной машине Не ожидал близкой второй позиции к NVME Это массив из 8 дисков (2x15k 6x10k) SAS диски Общее время теста: 20.2257 Общее количество записей: 2023 Размер записи: 4194304 Размер объекта: 4194304 Пропускная способность (МБ/с): 400.085 Стандартное отклонение пропускной способности: 104.448 Максимальная пропускная способность (МБ/с): 536 Минимальная пропускная способность (МБ/с): 116 Среднее количество IOPS: 100 Стандартное отклонение IOPS: 26.1119 Максимальное количество IOPS: 134 Минимальное количество IOPS: 29 Средняя задержка (с): 0.158852 Стандартное отклонение задержки (с): 0.239267 Максимальная задержка (с): 3.03524 Минимальная задержка (с): 0.0337089 <br />
			<i>20.08.2023 17:20:00, bigobx.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370688/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370688/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Sun, 20 Aug 2023 17:20:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370687/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Вы можете просто указать это. Если вы создаете новый OSD в графическом интерфейсе, убедитесь, что флажок "Дополнительные параметры" включен. Затем выберите существующий или просто введите, как хотите его назвать. <br />
			<i>04.04.2023 14:20:00, aaron.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370687/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370687/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Tue, 04 Apr 2023 14:20:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370686/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Я не вижу здесь, как создать класс, только как определить существующий. Я хочу добавить новые SSD, но не хочу, чтобы они использовали общую реплицированную настройку по умолчанию, поэтому я создал новое реплицированное правило. Но как создать новый класс, скажем, ssd_group2? Это возможно? <br />
			<i>04.04.2023 14:12:00, DC-CA1.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370686/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370686/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Tue, 04 Apr 2023 14:12:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370685/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Отлично, я согласен, поздравляю, это прекрасный вклад. Однако добавить эти значения уже нельзя в компиляцию. <br />
			<i>07.02.2023 17:35:00, legionkayra.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370685/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370685/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Tue, 07 Feb 2023 17:35:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>[TUTORIAL]Ceph - Классы, Правила и Пулы</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message370684/82843-tutorial_ceph-_-klassy_-pravila-i-puly">[TUTORIAL]Ceph - Классы, Правила и Пулы</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Индекс: 1. Создание классов 2. Crushmap 3. Создание правил 4. Добавление пулов -------- Соединив информацию из различных источников, я подумал, что будет полезно собрать ее здесь для удобства использования. Если вы читаете эту тему, вероятно, вы уже знаете, что такое ceph и на что он способен. Для меня ceph оказался действительно классным, а proxmox в целом тоже очень крутой. В этом небольшом руководстве мы рассмотрим несколько моментов: классы OSD для ceph по умолчанию это HDD и SSD. Даже если у вас есть NVME-диски, они будут относиться к классу SSD. Это довольно печально. Это все равно что сделать SSD по умолчанию классом HDD. Нам действительно нужны три типа классов. Классы помогут изолировать способ назначения ВМ или LXC к этим классам, а это значит, что вы можете разместить одни вещи на HDD, другие на SSD, а даже третьи на супербыстрых NVMe-носителях. Например, я хочу хранить большой медиа-контент на HDD, а контейнеры, обрабатывающие данные, разместить на ВМ на дисках NVMe. SSD будет использоваться для других задач, которые не требуют высокой скорости или интенсивного хранения, например, для проверки цен на что-то в интернете. По умолчанию ceph добавляет все OSD в один пул, который вы создаете. Нет возможности изолировать устройства для конкретного пула, если не проводить дополнительные настройки. Если вы, как и некоторые из нас, имеете несколько узлов с несколькими типами устройств, возьмем, например, ssd, hdd и nvme. Как упоминалось выше, мы хотим сгруппировать их в пулы. Создание нового класса ​ Если вы не в курсе, классы — это способ категоризировать устройства на основе их скорости. Также можно создать классы по размеру, если хотите. Существует несколько способов использовать классы. В этом руководстве мы добавим класс nvme. Список OSD и их классов: ceph osd crush tree --show-shadow Код: ID &nbsp;CLASS WEIGHT &nbsp; &nbsp;TYPE NAME<br />-16 &nbsp;nvme &nbsp; 4.54498 root default~nvme<br />-10 &nbsp; &nbsp; &nbsp; &nbsp;37.75299 &nbsp; &nbsp; host host1<br />13 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.13<br />14 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.14<br />15 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.15<br />16 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.16<br />20 &nbsp; ssd &nbsp; 0.90900 &nbsp; &nbsp; &nbsp; &nbsp; osd.20 &nbsp; &nbsp; (Эти .90900 диски, 1TB, являются NVME, но как видите, они относятся к классу SSD? Обратите внимание на номер osd, в данном случае osd.20.)<br />17 &nbsp; ssd &nbsp; 0.46500 &nbsp; &nbsp; &nbsp; &nbsp; osd.17<br />-7 &nbsp; &nbsp; &nbsp; &nbsp;37.74199 &nbsp; &nbsp; host host2<br /> &nbsp;8 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.8<br /> &nbsp;9 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.9<br />10 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.10<br />11 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.11<br /> &nbsp;7 &nbsp; ssd &nbsp; 0.90900 &nbsp; &nbsp; &nbsp; &nbsp; osd.7 &nbsp; &nbsp; &nbsp; ***<br />18 &nbsp; ssd &nbsp; 0.45399 &nbsp; &nbsp; &nbsp; &nbsp; osd.18<br />-3 &nbsp; &nbsp; &nbsp; &nbsp;39.56000 &nbsp; &nbsp; host host3<br /> &nbsp;0 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.0<br /> &nbsp;1 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.1<br /> &nbsp;2 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.2<br /> &nbsp;3 &nbsp; hdd &nbsp; 9.09499 &nbsp; &nbsp; &nbsp; &nbsp; osd.3<br /> &nbsp;4 &nbsp; ssd &nbsp; 0.90900 &nbsp; &nbsp; &nbsp; &nbsp; osd.4 &nbsp; &nbsp; &nbsp; ***<br /> &nbsp;5 &nbsp; ssd &nbsp; 0.90900 &nbsp; &nbsp; &nbsp; &nbsp; osd.5 &nbsp; &nbsp; &nbsp; ***<br /> &nbsp;6 &nbsp; ssd &nbsp; 0.90900 &nbsp; &nbsp; &nbsp; &nbsp; osd.6 &nbsp; &nbsp; &nbsp; ***<br />19 &nbsp; ssd &nbsp; 0.45399 &nbsp; &nbsp; &nbsp; &nbsp; osd.19 *** Обратите внимание на ID устройств, которые вы хотите изменить, и уберите текущий класс и назначьте новый класс для устройства: Удалите класс ssd для устройства 20: ceph osd crush rm-device-class osd.20 Назначьте класс nvme для устройства 20: ceph osd crush set-device-class nvme osd.20 Сделайте это для всех ID OSD, которые вы хотите изменить на конкретный класс. Теперь нужно убедиться, что ceph не вернется к умолчанию для устройств, поэтому мы отключаем обновление при старте. Это позволит нам изменять классы, так как они не будут установлены при запуске. Измените локальный файл /etc/ceph/ceph.conf, добавив запись osd: Код: [osd]<br />osd_class_update_on_start = false Думал, что нужно перезапустить службу osd, но прямо сейчас не уверен. systemctl restart ceph-osd.target Crushmap ​ Вы можете увидеть crushmap в интерфейсе @ Host &gt;&gt; Ceph &gt;&gt; Configuration Чтобы понять crushmap, нужно выполнить следующие действия. Экспортировать и декомпилировать crushmap Прочитать и отредактировать crushmap Импортировать crushmap Правила для пулов Получить скомпилированный файл crushmap ceph osd getcrushmap -o crushmap.compiled Декомпилировать crushmap crushtool -d crushmap.compiled -o crushmap.text Скомпилировать crushmap, сохраняя оригинальный скомпилированный файл crushmap (выберите, как хотите управлять файлами) crushtool -c crushmap.text -o crushmap.compiled.new Импортировать новый crushmap ceph osd setcrushmap -i crushmap.compiled.new Теперь, когда мы знаем, как редактировать crushmap, давайте это сделаем! Создание новых правил ​ Итак, мы создали новый класс, но он пока не выполняет никаких функций. Теперь нам нужно связать класс с правилом. Используя инструкции по crushmap выше, декомпилируйте и отредактируйте правила вашего crushmap. Имя правила по умолчанию с ID 0 что-то вроде replicated. Я решил удалить это правило и заменить его тремя правилами. Правила связывают классы с пулом, что мы и сделаем на последнем этапе. Удалите оригинальное правило id 0 и замените его этими тремя. Это работает для этого примера, так как у нас есть три типа устройств, но делайте, как считаете нужным в своей среде. Большинство создало бы правило для SSD и HDD, например. Код: # правила<br />rule replicated_hdd {<br /> &nbsp; &nbsp;id 0<br /> &nbsp; &nbsp;type replicated<br /> &nbsp; &nbsp;min_size 1<br /> &nbsp; &nbsp;max_size 10<br /> &nbsp; &nbsp;step take default class hdd<br /> &nbsp; &nbsp;step chooseleaf firstn 0 type host<br /> &nbsp; &nbsp;step emit<br />}<br />rule replicated_ssd {<br /> &nbsp; &nbsp;id 1<br /> &nbsp; &nbsp;type replicated<br /> &nbsp; &nbsp;min_size 1<br /> &nbsp; &nbsp;max_size 10<br /> &nbsp; &nbsp;step take default class ssd<br /> &nbsp; &nbsp;step chooseleaf firstn 0 type host<br /> &nbsp; &nbsp;step emit<br />}<br />rule replicated_nvme {<br /> &nbsp; &nbsp;id 2<br /> &nbsp; &nbsp;type replicated<br /> &nbsp; &nbsp;min_size 1<br /> &nbsp; &nbsp;max_size 10<br /> &nbsp; &nbsp;step take default class nvme<br /> &nbsp; &nbsp;step chooseleaf firstn 0 type host<br /> &nbsp; &nbsp;step emit<br />} Не забудьте скомпилировать и импортировать ваш новый файл crush! Вы можете протестировать crushfile так, но --show-X у меня по какой-то причине не работает на момент написания: crushtool -i crushmap.compiled.new --test --show-X Создание пула ​ Перейдите в интерфейс Proxmox Host &gt;&gt; Ceph &gt;&gt; Pools Создайте имя пула, например, pool-ssd, и привяжите новое правило к этому имени пула. Это приведет к тому, что любое новое устройство, связанное с конкретным классом, автоматически будет ассоциироваться с пулом в соответствии с вашими требованиями. Я считаю, это довольно круто. А вы? Ваши новые правила доступны при создании пула: <img class="lazyload "  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="/upload/forum/proxmox/12429-69bbaacf7aeaaab0bdf33480b0373e9b.jpg" alt="Пользователь добавил изображение" border="0" /> <img class="lazyload "  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="/upload/forum/proxmox/12431-86c0683da6f7a97dc6269481fd260c2c.jpg" alt="Пользователь добавил изображение" border="0" /> <img class="lazyload "  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="/upload/forum/proxmox/12430-2d3af0ed572198ce9fc63ad2042611bf.jpg" alt="Пользователь добавил изображение" border="0" /> Теперь вы можете сделать следующее: Загрузить образы ISO в ресурс пула, и ВСЕ узлы смогут установить их. Ура! Ceph является RBD-накопителем только в этом случае и поэтому не поддерживает тип содержимого изображений ISO. Только контейнеры и образы дисков, как мне кажется, теперь высокодоступность стала возможной, так как вы можете перемещать ВМ в эти общие пулы. Что я собираюсь протестировать завтра. Установите ВМ на носители, которые лучше всего подходят для ваших нужд. Наслаждайтесь! <br />
			<i>10.11.2019 06:15:00, Seed.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message370684/82843-tutorial_ceph-_-klassy_-pravila-i-puly</link>
			<guid>http://proxmox.su/forum/messages/forum63/message370684/82843-tutorial_ceph-_-klassy_-pravila-i-puly</guid>
			<pubDate>Sun, 10 Nov 2019 06:15:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
	</channel>
</rss>
