<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
	<channel>
		<title>Аспро: ЛайтШоп [тема: Переезд с ZFS на Ceph?]</title>
		<link>http://proxmox.su</link>
		<description>Новое в теме Переезд с ZFS на Ceph? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su]</description>
		<language>ru</language>
		<docs>http://backend.userland.com/rss2</docs>
		<pubDate>Thu, 19 Nov 2026 17:36:35 +0300</pubDate>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314167/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Ceph можно настроить так, чтобы требовалось определенное количество копий. Большинство используют значение по умолчанию 3/2 — 3 копии, 2 минимальные. Если количество копий блока меньше 2, то он становится не запиcываемым. Можно указать 1 минимальное количество копий, но если один из серверов выйдет из строя и у него окажется единственная копия блока данных, то эти данные пропадут. Можно изменить "домен сбоя" Ceph на "по диску", а не "по серверу/хосту", но это добавляет риск. Например, что если все 3 копии блока данных окажутся на одном сервере (на 3 дисках), а сервер выйдет из строя? С точки зрения ВМ данные будут считаться пропавшими. Отдельно, кластер Proxmox требует, чтобы более 50% узлов были доступны для работы кластера, поэтому с 1/3 узлов оставшийся узел будет перезагружаться, чтобы попытаться вернуться в кластер. <br />
			<i>11.04.2025 16:01:00, SteveITS.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314167/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314167/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Fri, 11 Apr 2025 16:01:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314166/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Но это бы означало... даже если два узла из трех выйдут из строя, а у меня всё равно останется 8 OSD (типа, 8 SSD на одном сервере) и достаточно места на них, чтобы хранить 3 копии данных, всё будет в порядке, и кластер продолжит работать, потому что он фактически перебалансирует 3 копии данных по 8 SSD на одном узле. Я прав? <br />
			<i>11.04.2025 11:00:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314166/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314166/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Fri, 11 Apr 2025 11:00:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314165/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			После того, как пришлось пересоздавать все наши OSD за эту неделю, я внимательнее посмотрел на число "x TiB из y TiB". Y, конечно, уменьшается, когда OSD помечается как недоступный. X тоже уменьшается, когда OSD помечается, а затем увеличивается при его ребалансировке. Другими словами, похоже, что X – это "занятое пространство прямо сейчас...n копий m PGs". Или, возможно, "среднее количество копий, умноженное на количество PGs" – лучше сформулировать. А затем "среднее количество копий на PG" либо выше, либо ниже целевого значения 3. Надеюсь, не слишком сильно ниже. <br />
			<i>10.04.2025 18:55:00, SteveITS.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314165/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314165/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Thu, 10 Apr 2025 18:55:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314164/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Отлично, теперь всё понятно! Спасибо! <br />
			<i>09.04.2025 16:59:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314164/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314164/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 09 Apr 2025 16:59:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314163/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Ceph попытается перераспределить "отсутствующие" блоки хранилища. Если остальные 6 дисков смогут взять данные с этих двух вышедших из строя SSD, то все в порядке. Вот почему полезно иметь больше Ceph-узлов, чтобы отказ одного хоста (или перезагрузка) не вызвал проблем. Можно также попасть в неприятности, например, имея 3 узла с неравномерно распределенным хранилищем: 10 ТБ, 5 ТБ, 5 ТБ. Он не сможет использовать все 10 ТБ, и если этот узел выйдет из строя, то ему нужно будет переместить эти данные на два других узла. Я тоже недавно смотрел "Usage", но не продвинулся слишком далеко... кажется, GUI немного непоследователен в том, показывает ли он общий объем выделенного пространства или фактически используемый объем, но я думаю, что это сделано намеренно, в зависимости от того, где ты смотришь. В GUI можно пометить OSD как "out" и/или "down". <br />
			<i>09.04.2025 16:39:00, SteveITS.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314163/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314163/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 09 Apr 2025 16:39:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314162/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Вот перевод текста сообщения на русский язык:<br /><br />Вот некоторые числа, и, как я уже говорил, не уверен, как их оценивать. Код: `:~# rados bench -p testbench 10 write --no-cleanup`<br /><br />`hints = 1`<br />Поддерживается 16 одновременных операций записи данных объемом 4194304 байта в объекты размером 4194304 байта в течение 10 секунд или 0 объектов.<br /><br />Префикс объекта: benchmark_data_s02p00a3101_776180<br /> &nbsp;сек Текущие операции &nbsp;Начато &nbsp;Завершено &nbsp;Средний MB/сек &nbsp;Текущий MB/сек Последняя задержка (с) Средняя задержка (с)<br /> &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br /> &nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp; 224 &nbsp; &nbsp; &nbsp; 208 &nbsp; 831.846 &nbsp; &nbsp; &nbsp; 832 &nbsp; 0.0511275 &nbsp; 0.0747983<br /> &nbsp; &nbsp;2 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp; 459 &nbsp; &nbsp; &nbsp; 443 &nbsp; 885.849 &nbsp; &nbsp; &nbsp; 940 &nbsp; &nbsp;0.052232 &nbsp; 0.0712619<br /> &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp; 688 &nbsp; &nbsp; &nbsp; 672 &nbsp; 895.871 &nbsp; &nbsp; &nbsp; 916 &nbsp; &nbsp;0.063132 &nbsp; &nbsp;0.070411<br /> &nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp; 908 &nbsp; &nbsp; &nbsp; 892 &nbsp; 891.871 &nbsp; &nbsp; &nbsp; 880 &nbsp; 0.0541496 &nbsp; 0.0708804<br /> &nbsp; &nbsp;5 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1132 &nbsp; &nbsp; &nbsp;1116 &nbsp; 892.664 &nbsp; &nbsp; &nbsp; 896 &nbsp; 0.0287243 &nbsp; 0.0711261<br /> &nbsp; &nbsp;6 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1377 &nbsp; &nbsp; &nbsp;1361 &nbsp; 907.194 &nbsp; &nbsp; &nbsp; 980 &nbsp; 0.0527882 &nbsp; 0.0700263<br /> &nbsp; &nbsp;7 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1623 &nbsp; &nbsp; &nbsp;1607 &nbsp; 918.143 &nbsp; &nbsp; &nbsp; 984 &nbsp; &nbsp;0.065819 &nbsp; 0.0691246<br /> &nbsp; &nbsp;8 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1871 &nbsp; &nbsp; &nbsp;1855 &nbsp; 927.356 &nbsp; &nbsp; &nbsp; 992 &nbsp; 0.0560834 &nbsp; &nbsp;0.068565<br /> &nbsp; &nbsp;9 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;2103 &nbsp; &nbsp; &nbsp;2087 &nbsp; 927.417 &nbsp; &nbsp; &nbsp; 928 &nbsp; &nbsp;0.080184 &nbsp; &nbsp; 0.06875<br /> &nbsp; 10 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;2328 &nbsp; &nbsp; &nbsp;2312 &nbsp; 924.666 &nbsp; &nbsp; &nbsp; 900 &nbsp; 0.0344433 &nbsp; 0.0686554<br />Общее время выполнения: &nbsp; &nbsp; &nbsp; &nbsp; 10.0628<br />Общее количество операций записи: &nbsp; &nbsp; &nbsp;2328<br />Размер операции записи: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4194304<br />Размер объекта: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4194304<br />Пропускная способность (МБ/сек): &nbsp; &nbsp; 925.388<br />Стандартное отклонение пропускной способности: &nbsp; &nbsp; &nbsp; 51.0442<br />Максимальная пропускная способность (МБ/сек): 992<br />Минимальная пропускная способность (МБ/сек): 832<br />Среднее количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 231<br />Стандартное отклонение операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;12.7611<br />Максимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 248<br />Минимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 208<br />Средняя задержка (с): &nbsp; &nbsp; 0.0689401<br />Стандартное отклонение задержки (с): &nbsp; &nbsp; &nbsp;0.0517506<br />Максимальная задержка (с): &nbsp; &nbsp; &nbsp; &nbsp; 1.09492<br />Минимальная задержка (с): &nbsp; &nbsp; &nbsp; &nbsp; 0.0226393<br /><br /><br />`:~# rados bench -p testbench 10 seq`<br /><br />`hints = 1`<br /> &nbsp;сек Текущие операции &nbsp;Начато &nbsp;Завершено &nbsp;Средний MB/сек &nbsp;Текущий MB/сек Последняя задержка (с) Средняя задержка (с)<br /> &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br /> &nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp;15 &nbsp; &nbsp; &nbsp; 538 &nbsp; &nbsp; &nbsp; 523 &nbsp; 2090.88 &nbsp; &nbsp; &nbsp;2092 &nbsp; 0.0307482 &nbsp; 0.0295879<br /> &nbsp; &nbsp;2 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1065 &nbsp; &nbsp; &nbsp;1049 &nbsp; 2097.26 &nbsp; &nbsp; &nbsp;2104 &nbsp; 0.0243273 &nbsp; 0.0296936<br /> &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1596 &nbsp; &nbsp; &nbsp;1580 &nbsp; 2106.03 &nbsp; &nbsp; &nbsp;2124 &nbsp; 0.0433334 &nbsp; 0.0296689<br /> &nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;2156 &nbsp; &nbsp; &nbsp;2140 &nbsp; 2139.43 &nbsp; &nbsp; &nbsp;2240 &nbsp; &nbsp;0.063928 &nbsp; 0.0291874<br />Общее время выполнения: &nbsp; &nbsp; &nbsp; 4.32856<br />Общее количество операций чтения: &nbsp; &nbsp; 2328<br />Размер операции чтения: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4194304<br />Размер объекта: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4194304<br />Пропускная способность (МБ/сек): &nbsp; 2151.29<br />Среднее количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; 537<br />Стандартное отклонение операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;16.9902<br />Максимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 560<br />Минимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 523<br />Средняя задержка (с): &nbsp; 0.0290851<br />Максимальная задержка (с): &nbsp; &nbsp; &nbsp; 0.174107<br />Минимальная задержка (с): &nbsp; &nbsp; &nbsp; 0.0134061<br /><br /><br />`:~# rados bench -p testbench 10 rand`<br /><br />`hints = 1`<br /> &nbsp;сек Текущие операции &nbsp;Начато &nbsp;Завершено &nbsp;Средний MB/сек &nbsp;Текущий MB/сек Последняя задержка (с) Средняя задержка (с)<br /> &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br /> &nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp;15 &nbsp; &nbsp; &nbsp; 531 &nbsp; &nbsp; &nbsp; 516 &nbsp; &nbsp;2063.1 &nbsp; &nbsp; &nbsp;2064 &nbsp; 0.0161054 &nbsp; 0.0299842<br /> &nbsp; &nbsp;2 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1050 &nbsp; &nbsp; &nbsp;1034 &nbsp; 2067.43 &nbsp; &nbsp; &nbsp;2072 &nbsp; 0.0141886 &nbsp; &nbsp;0.028746<br /> &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1279 &nbsp; &nbsp; &nbsp;1263 &nbsp; 1683.59 &nbsp; &nbsp; &nbsp; 916 &nbsp; 0.0160117 &nbsp; 0.0267895<br /> &nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp;16 &nbsp; &nbsp; &nbsp;1297 &nbsp; &nbsp; &nbsp;1281 &nbsp; 1280.71 &nbsp; &nbsp; &nbsp; &nbsp;72 &nbsp; 0.0160864 &nbsp; 0.0266305<br /> &nbsp; &nbsp;5 &nbsp; &nbsp; &nbsp;15 &nbsp; &nbsp; &nbsp;1513 &nbsp; &nbsp; &nbsp;1498 &nbsp; 1198.05 &nbsp; &nbsp; &nbsp; 868 &nbsp; 0.0381363 &nbsp; 0.0526714<br /> &nbsp; &nbsp;6 &nbsp; &nbsp; &nbsp;15 &nbsp; &nbsp; &nbsp;2975 &nbsp; &nbsp; &nbsp;2960 &nbsp; 1079.36 &nbsp; &nbsp; &nbsp; &nbsp;36 &nbsp; 0.0274126 &nbsp; 0.0529744<br /> &nbsp; &nbsp;7 &nbsp; &nbsp; &nbsp;6 &nbsp; &nbsp; &nbsp;2975 &nbsp; &nbsp; &nbsp;2969 &nbsp; 989.422 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; 0.0529744<br />Общее время выполнения: &nbsp; &nbsp; &nbsp; 12.6516<br />Общее количество операций чтения: &nbsp; &nbsp; 2975<br />Размер операции чтения: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4194304<br />Размер объекта: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4194304<br />Пропускная способность (МБ/сек): &nbsp; 940.592<br />Среднее количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; 235<br />Стандартное отклонение операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;216.918<br />Максимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 528<br />Минимальное количество операций ввода/вывода в секунду: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br />Средняя задержка (с): &nbsp; 0.0585469<br />Максимальная задержка (с): &nbsp; &nbsp; &nbsp; 3.06513<br />Минимальная задержка (с): &nbsp; &nbsp; &nbsp; 0.00262166 <br />
			<i>09.04.2025 14:30:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314162/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314162/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 09 Apr 2025 14:30:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314161/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Окей, если я правильно понимаю, в конфигурации 3/2 целый хост может выйти из строя. А что произойдет, если на одном из двух узлов откажутся дополнительные OSD (диски)? Допустим, один узел недоступен, и к тому же на одном из узлов отказали 2 SSD из 8? Но на каждом сервере по 8 OSD, то есть всего 24. По хранилищу: да, я очень хорошо знаю, что не стоит заполнять его как Ceph, так и ZFS. В данный момент используем около 1 ТБ, что не будет расти, если наши менеджеры не решат перенести какие-то нагрузки на этот кластер. Но вот что я не совсем понимаю. В 3/2 должно быть доступно только треть хранилища. Однако "Использование" на уровне дата-центра показывает 267 ГБ из 21 ТБ (1%). У меня в данный момент только одна ВМ на нем, все остальное распределено по локальным дискам. Если посмотреть на хранилище непосредственно на одном из узлов, там написано 84 ГБ из 7,18 ТБ. Получается, что общий объем и реальное свободное место из-за 3/2 показывается в хранилище (на каждом узле одно и то же). Хорошо знать, что использование вырастет, если один узел откажется. Это один из сценариев, который я хочу протестировать. Следующий логичный шаг для меня сейчас, раз все базовое настроено, — это изучение вопросов производительности, бенчмаркинга и тонкой настройки. Можете ли вы посоветовать конкретные способы бенчмаркинга, создания базовых показателей, как узнавать, что такое "хорошие числа"? Кроме того, мне очень нравится возможность создания CephFS, чтобы ISO не приходилось загружать 3 раза. Просто хорошее централизованное хранилище. <br />
			<i>09.04.2025 11:20:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314161/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314161/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 09 Apr 2025 11:20:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314160/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			В целом, каждый диск — это OSD, да. Ceph будет хранить блок данных согласно настройкам... по умолчанию/обычно 3/2 будет хранить 1 копию блока на 3 серверах. Ceph сам выберет, какие OSD использовать. Если есть только 2 копии (OSD выходит из строя, сервер падает), он создаст еще одну. Если меньше 2 копий, данные для VM записать не получится. Плюсы: хранилище доступно всем физическим серверам (миграция VM копирует только содержимое RAM), диски можно добавлять в любой момент, чтобы увеличить пространство. <br />
			<i>08.04.2025 18:17:00, SteveITS.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314160/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314160/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Tue, 08 Apr 2025 18:17:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314159/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Обычно минимальные значения для Ceph – "size=3,min_size=2". Это касается Нод, а не OSD, потому что "область отказа" (failure domain) – это, разумеется, "хост". То есть, каждое и всякое хранилище данных будет сохраняться трижды – один раз на каждом хосте. Понятно, что полезное пространство будет, очевидно, в одну треть от всего пространства на всех OSD. (На самом деле даже меньше: в момент отказа одного устройства Ceph начнет перераспределять данные ("PG"), и, следовательно, будет использовать больше места на выживших OSD, чем раньше. В итоге пул Ceph станет заполненным раньше, чем ожидалось. Полный пул – это плохо и для Ceph, и для ZFS – этого действительно стоит избегать.) Когда я использую репликацию ZFS с тремя нодами, я получаю ровно такое же соотношение 1/3. Все мои хранилища ZFS – это зеркалированные vdev. Этот аспект приводит к тому, что полезное пространство уменьшается вдвое по сравнению с Ceph – в моем конкретном примере настройки. <br />
			<i>08.04.2025 15:06:00, UdoB.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314159/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314159/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Tue, 08 Apr 2025 15:06:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314158/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Что я прочитал до сих пор, я думаю, ответ: Да. Почему: Использование только 1/3 от общего объема хранилища вполне приемлемо, по крайней мере, здесь в офисе. У нас нет такого большого объема данных, даже не 1ТБ, и в данный момент, с использованием только 4 диска на каждом узле, у меня есть 3.6ТБ. А это будет увеличиваться, когда я добавлю дополнительные диски — у нас 3 узла, каждый с 8 SSD по 960ГБ. Все оригинальные корпоративные SSD HPE, одного типа на всех 3 узлах. А насчет места: с ZFS я использовал репликацию на два других узла, так что каждый узел может выйти из строя, и другой его подхватит, за исключением разницы между репликациями. Но, конечно... я могу выбрать и не делать этого. Единственное преимущество, которое я вижу в ZFS по сравнению с Ceph, когда дело касается HA, — это то, что с репликацией ZFS могут выйти из строя сразу два узла, если хватает хранилища/RAM/CPU. И у нас их хватает. Однако... при использовании ZFS я выбираю RAIDZ2, то есть я уже теряю некоторую избыточность на самом узле, и когда я реплицирую дважды, я теряю 2/3 от остатка. Так что ZFS RAIDZ2 с репликацией стоит мне гораздо больше места, если я все правильно понимаю. С Ceph, чтобы оставаться R/W, может выйти из строя только один узел, если я все правильно понимаю. И этого будет достаточно. Что касается OSD, я все еще не могу понять, что они делают, даже если я читал об этом. В основном я создал Ceph с 4 дисков с каждого узла, 4 SSD в настоящее время не используются. Я подумал о том, чтобы протестировать, как добавлять диски в Ceph-кластер. Как я понял, нужно создавать один OSD на физический диск. Текущая проблема — проверка сети, и во всех случаях я получаю полные 10Гб/с, за исключением iperf до Node3, который на одно поколение старше DL380, Gen9, а два других — Gen10. Но я создал отдельную тему об этом. О, и давайте я проясню один момент: это более или менее POC-среда. Чтобы узнать о Ceph. Потому что это единственная возможность, у нас есть, чтобы протестировать его, прежде чем даже думать о внедрении этого в наши центры обработки данных (у нас их два, каждый Azure Local на 6 узлах). <br />
			<i>08.04.2025 13:48:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314158/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314158/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Tue, 08 Apr 2025 13:48:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314157/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Хочешь улучшить текущую ситуацию, верно? Ты уверен, что тебе нужен Ceph всего с тремя узлами? Надёжная система с такими функциями, как самовосстановление, имеет свои подводные камни — помимо (обычно) гораздо более низкой производительности по сравнению с локальным хранилищем: [TUTORIAL] Тред 'FabU: могу ли я использовать Ceph в _очень_ маленьком кластере?' 26 декабря 2024 года. Ceph великолепен, но ему требуются ресурсы выше теоретического минимума для надёжной работы. Мои предположения для следующего текста: ты хочешь использовать Ceph потому что... почему бы и нет? ты хочешь использовать высокую доступность — что требует совместно используемое хранилище (стоит отметить, что для полного решения требуется больше вещей, таких как избыточная сетевая инфраструктура и блоки питания). Ты планируешь начать как можно меньше (и дешевле), потому что это... “всего лишь” домашняя лаборатория. Ты планируешь три узла. Каждый узел имеет отдельный выделенный диск для использования в качестве «OSD». Это задокументировано... UdoB ceph кластер мини ПК минимизировать совместно используемую файловую систему хранилище Ответы: 30 Форум: Proxmox VE: Установка и настройка. Как фанат ZFS я должен упомянуть и вот это: [TUTORIAL] Тред 'FabU: это просто небольшая конфигурация с ограниченными ресурсами и всего несколько дисков, стоит ли мне вообще использовать ZFS?' 3 января 2025 года. Стоит ли мне вообще использовать ZFS?​ В этот раз требует предварительного дисклеймера: я использую ZFS почти везде, где это легко возможно, хотя и существуют исключения. В любом случае я определённо предвзят в пользу ZFS. Что ж..., очевидный ответ, конечно: «Да, конечно» <img  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="http://proxmox.su/upload/main/smiles/2/bx_smile_wink.png" border="0" data-code=";-)" data-definition="UHD" alt=";-)" style="width:20px;height:20px;" title="Шутливо" class="lazyload bx-smile" /> Интегрируемость ZFS обеспечивает целостность. Он предоставит точно те же самые данные, когда ты их прочитаешь, как они были записаны в какой-то момент в прошлом. «Но все файловые системы это делают, верно?» Да, но есть ещё кое-что. ZFS усердно работает над активным обеспечением корректности. А… UdoB потребительский класс корпоративный класс целостности зеркало raidz хранилище zfs Ответы: 1 Форум: Proxmox VE: Установка и настройка <br />
			<i>02.04.2025 20:27:00, UdoB.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314157/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314157/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 20:27:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314156/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Да. Разве что у вас достаточно железа, чтобы одновременно запускать Ceph и ZFS и переходить с одного на другой. <br />
			<i>02.04.2025 14:30:00, rungekutta.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314156/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314156/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 14:30:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314155/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Да, если у тебя на одних и тех же машинах zfs и ceph, просто живой миграцией перемещай хранилище с одного на другой. Это всё. <br />
			<i>02.04.2025 14:08:00, ness1602.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314155/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314155/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 14:08:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314154/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Больше-меньше, я ожидал такой ответ. Тем не менее, спрашивать не вредно. Промежуточного хранилища нет, потому что сам файловый сервер больше, чем локальные диски, на которых стоит Proxmox (которые я, в теории, мог бы использовать как промежуточное хранилище). Так что, полагаю, самый чистый вариант — сделать бекап ВМ, удалить ZFS, создать Ceph, а потом восстановить из бекапа. И это, конечно, на выходные. <br />
			<i>02.04.2025 13:33:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314154/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314154/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 13:33:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314153/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Твоя цель – использовать то же самое оборудование, включая диски, перейти с ZFS на Ceph и работать на production-сервере, ничего не нарушая? *Возможно*, теоретически это возможно при очень серьезном планировании (и с определенными рисками), но я бы рекомендовал сначала почитать про Ceph, понять, как ты хочешь его настроить, а затем запланировать время простоя во время перехода. Тебе, вероятно, потребуется какое-то промежуточное хранилище, пока ты перестраиваешь хранилище в Ceph-кластер и затем переносишь данные обратно. Я делал что-то похожее, *но* моё Ceph-хранилище было на отдельном оборудовании (дисках), поэтому я мог запускать оба варианта параллельно во время перехода. <br />
			<i>02.04.2025 13:14:00, rungekutta.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314153/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314153/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 13:14:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314152/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			ceph osd pool autoscale-status показывает размер данных, хранящихся в каждом пуле, а также целевой размер и другую информацию. В нашей системе сейчас отображается ~870 G, а в GUI используется ~2.9 TiB. <br />
			<i>04.05.2025 22:03:00, SteveITS.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314152/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314152/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Sun, 04 May 2025 22:03:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Переезд с ZFS на Ceph?</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message314151/76261-pereezd-s-zfs-na-ceph">Переезд с ZFS на Ceph?</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Привет, возможно ли мигрировать с реплицированного ZFS на Ceph, имея кластер из 3 узлов, без прерывания работы продакшена? Замечу, что Ceph никогда не использовал, пока что вообще ничего о нём не знаю, и всё хранилище встроено: 3 сервера с HBA и по 8 флеш-накопителей у каждого. Спасибо. <br />
			<i>02.04.2025 12:40:00, Springtime.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message314151/76261-pereezd-s-zfs-na-ceph</link>
			<guid>http://proxmox.su/forum/messages/forum63/message314151/76261-pereezd-s-zfs-na-ceph</guid>
			<pubDate>Wed, 02 Apr 2025 12:40:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
	</channel>
</rss>
