<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0">
	<channel>
		<title>Аспро: ЛайтШоп [тема: Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster]</title>
		<link>http://proxmox.su</link>
		<description>Новое в теме Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su]</description>
		<language>ru</language>
		<docs>http://backend.userland.com/rss2</docs>
		<pubDate>Thu, 19 Nov 2026 17:40:05 +0300</pubDate>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342768/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			@scyto В данный момент самая полезная информация, которую я получаю, приходит от l-koeln и от тебя... Также попытки погуглить thunderbolt-net — это настоящая миссия невыполнимая, я не смог найти ничего полезного. <br />
			<i>18.08.2023 21:55:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342768/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342768/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 21:55:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342767/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Да, согласен, немного беспокоит, что никто из Proxmox, похоже, не хочет отвечать на мои сообщения (думаю, их просто заливает из-за разницы во времени). Это заставляет меня задуматься, стоит ли вообще использовать Proxmox, если часовой пояс и время публикации — такая проблема <img  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="http://proxmox.su/upload/main/smiles/2/bx_smile_sad.png" border="0" data-code=":-(" data-definition="UHD" alt=":-(" style="width:20px;height:20px;" title="Печально" class="lazyload bx-smile" /> К тому же Discord и Reddit оказались малоэффективными... Я точно не собираюсь тестировать на чистом Debian, пока не увижу, что кто-то из Proxmox действительно волнуется и следит за происходящим (иначе это будет просто безнадёжная борьба с ветряными мельницами). Как у тебя с этим опыт — получается ли получать помощь от других? <br />
			<i>18.08.2023 21:05:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342767/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342767/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 21:05:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342766/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Ваши iptables должны пропускать всё для IPv6, возможно, это баг в драйвере thunderbolt. <br />
			<i>18.08.2023 10:28:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342766/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342766/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 10:28:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342765/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Я всё ещё пытаюсь разобраться с iptables в целом, но если это мой набор правил для ip6tables, то кажется, что ip6tables ничего не блокирует, потому что политика по умолчанию — ACCEPT для всего (мой обычный iptables выглядит так же). Согласен, что следующий шаг — попробовать воспроизвести проблему на Debian. Что кажется утомительным, LOL. &nbsp;<br /><br />Код: &nbsp;<br />root@pve2:~# ip6tables -L -n -v &nbsp;<br />Chain INPUT (policy ACCEPT 34 packets, 5296 bytes) &nbsp;<br /> pkts bytes target &nbsp; &nbsp; prot opt in &nbsp; &nbsp; out &nbsp; &nbsp; source &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; destination &nbsp; &nbsp; &nbsp; <br /><br />Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) &nbsp;<br /> pkts bytes target &nbsp; &nbsp; prot opt in &nbsp; &nbsp; out &nbsp; &nbsp; source &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; destination &nbsp; &nbsp; &nbsp; <br /><br />Chain OUTPUT (policy ACCEPT 19 packets, 4164 bytes) &nbsp;<br /> pkts bytes target &nbsp; &nbsp; prot opt in &nbsp; &nbsp; out &nbsp; &nbsp; source &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; destination <br />
			<i>18.08.2023 09:02:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342765/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342765/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 09:02:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342764/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Да, Intel-дополнение — классная карта, у меня она тоже стоит в моём NUC13. Думаю, проблема кроется глубже: Proxmox использует стандартный Debian iptables и их ядро (на базе Ubuntu). Если будет время, попробуй поставить чистый Debian на оба узла и проверить, работает ли там или нет. Если работает, можешь сообщить об этом ребятам из Proxmox. <br />
			<i>18.08.2023 08:56:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342764/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342764/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 08:56:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342763/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Окей, сегодня провёл ещё тесты. Новые интерфейсы enp87s0 на каждом NUC работают с IPv6 без проблем. (Intel NUCIOALUWS — отличный способ добавить ещё один порт!) Это значит, что с IPv6 на интерфейсах Thunderbolt полный провал (неважно, оставят ли им оригинальные имена или переименуют). Пока неясно, проблема в Proxmox или в самой Debian. Выход: перестать пытаться использовать IPv6 и перейти на IPv4... наверное <img  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="http://proxmox.su/upload/main/smiles/2/bx_smile_wink.png" border="0" data-code=";-)" data-definition="UHD" alt=";-)" style="width:20px;height:20px;" title="Шутливо" class="lazyload bx-smile" /> <br />
			<i>18.08.2023 07:56:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342763/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342763/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 18 Aug 2023 07:56:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342762/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Фаервол/iptables в Proxmox немного странный, поэтому лучше явно добавить правило, разрешающее всё на thunderbolt0/1/en05/en06. Учтите, что порт 8006 разрешён по умолчанию, так что он всегда работает (ssh должен работать только в той же подсети OAM, что и ваша первая сетевая карта. Поэтому по умолчанию thunderbolt не будет работать). Я использую прямые IP-адреса с правилами udev — активирую сетевую карту и назначаю IP. Через "/etc/interfaces" просто не работает. Переименовывать их пока не стал, потому что не хочу, чтобы они были видны в GUI. Если получится на этой неделе, попробую FRR (мои NUC сейчас только для тестов, переустановка занимает 10 минут <img  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="http://proxmox.su/upload/main/smiles/2/bx_smile_wink.png" border="0" data-code=";-)" data-definition="UHD" alt=";-)" style="width:20px;height:20px;" title="Шутливо" class="lazyload bx-smile" />). <br />
			<i>16.08.2023 18:36:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342762/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342762/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 18:36:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342761/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Интересно, что я упускаю или делаю не так. Я отключил брандмауэр (чтобы было понятно, он всё ещё запущен). Iptables показывает, что на всех портах и интерфейсах стоит разрешающий режим. Я сменил политику по умолчанию для входящих и исходящих соединений на accept. Что меня сбивает с толку — веб-порт нормально работает на Thunderbolt-интерфейсах, а вот порты ssh и ceph не отвечают. Ты когда-нибудь запускал FRR или просто использовал IP напрямую на интерфейсе? И прописывал ли ты это в файле interfaces и/или в link файлах? <br />
			<i>16.08.2023 18:15:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342761/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342761/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 18:15:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342760/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Свежая установка. Я прямо установил Proxmox 8 на свой NUC13i3. <br />
			<i>16.08.2023 17:38:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342760/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342760/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 17:38:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342759/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Спасибо, ты обновлялся с Windows 7 или делал чистую установку Windows 8? <br />
			<i>16.08.2023 17:36:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342759/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342759/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 17:36:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342758/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			1. Странно, у меня на Proxmox 8 всё работает нормально, когда в файле "/etc/firewall/cluster.fw" есть такое правило: &nbsp;<br />Code: IN ACCEPT -i thunderbolt0 -p tcp -log nolog &nbsp;<br />На остальные варианты не могу ничего сказать, у меня только IPv4 и нет кольцевого кластера (всего 2 узла). <br />
			<i>16.08.2023 17:31:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342758/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342758/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 17:31:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342757/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Я провёл несколько дней, бьюсь головой о стену. &nbsp;<br /><br />1. Как бы я ни настраивал интерфейсы Thunderbolt (en05 и en06), что-то блокирует почти все порты, кроме 8006 — отключал фаервол, это не помогло. Включал фаервол и ставил default in и default out в ACCEPT — тоже без результата. Эта проблема блокирует работу SSH, CEPH по IPv6 (и, уверен, ещё много чего). &nbsp;<br /><br />2. Пробовал FRR OSPF маршрутизацию для IPv6 — работало (пинг проходил), но из-за проблемы №1 это было бесполезно, пока не исправлю её. IPv4 не пробовал, это следующая задача, так как fabricd (ниже) с IPv4 не справился. &nbsp;<br /><br />3. Пробовал FRR fabricd для IPv6 и IPv4 — для IPv6 сработало (ноды пинговали друг друга), а вот с IPv4 полный провал, потому что не создавались маршруты по умолчанию (пинг по IPv6 был, по IPv4 — нет). К тому же появилась проблема №1 и здесь. Это ещё хуже, чем проблема №2. Кстати, с fabricd после переименования адаптеров сервис FRR нужно перезапускать, чтобы всё работало (с FRR OSPF такого не было). &nbsp;<br /><br />4. Пробовал статическую конфигурацию прямо на en05 и en06 для IPv6 — столкнулся с той же проблемой №1. &nbsp;<br /><br />Пробовал разные комбинации настроек фаервола. Всё это на PVE8 — начинаю думать, что в этом релизе есть какие-то фундаментальные баги, а не просто я что-то делаю не так. Мне интересно, стоит ли попробовать последнюю сборку 7.x? &nbsp;<br /><br />(Ах да, наконец понял, почему иногда для работы нужно, чтобы thunderbolt и thunderbolt-net были в /etc/modules, а иногда нет. Всё просто: если их нет ни на одной ноде, сеть Thunderbolt не стартует. Если они есть хотя бы на одной ноде, и эта нода поднимается первой, то сеть запускается нормально и на остальных нодах. Короче, лучше прописать эти модули в /etc/modules на всех нодах, чтобы не гадать. На мой взгляд, это баг.) <br />
			<i>16.08.2023 03:07:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342757/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342757/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Wed, 16 Aug 2023 03:07:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342756/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			@scyto, спасибо за подробный ответ. Я получил твоё сообщение частично в уведомлении на почту, но ссылка гораздо удобнее. <br />
			<i>12.08.2023 19:00:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342756/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342756/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Sat, 12 Aug 2023 19:00:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342755/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Хм, сообщение с прошлой ночи ждет модерации. Тем временем вот мой рабочий gist, который отражает то, что я сделал вчера. Его буду обновлять в ближайшие дни/неделю, по мере того как выполню все пункты из списка дел в конце. Этот gist для тех, кто случайно наткнется на эту тему (особенно для тех, кто, как и я, только начинает работать с Proxmox). Для меня это своего рода самодокументация, чтобы не забыть, чему научился. <noindex><a href="https://gist.github.com/scyto/76e94832927a89d977ea989da157e9dc" target="_blank" rel="nofollow" >https://gist.github.com/scyto/76e94832927a89d977ea989da157e9dc</a></noindex> <br />
			<i>12.08.2023 18:45:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342755/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342755/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Sat, 12 Aug 2023 18:45:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342754/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Окей, кажется, у меня теперь всё работает. Я нашёл немного другой подход... Мои файлы link выглядят так:<br /><br />Код: /etc/systemd/network/00-thunderbolt0.link &nbsp;<br />[Match]  <br />Path=pci-0000:00:0d.2 &nbsp;<br />Driver=thunderbolt-net &nbsp;<br />[Link]  <br />MACAddressPolicy=none &nbsp;<br />Name=en05<br /><br />/etc/systemd/network/00-thunderbolt1.link &nbsp;<br />[Match]  <br />Path=pci-0000:00:0d.3 &nbsp;<br />Driver=thunderbolt-net &nbsp;<br />[Link]  <br />MACAddressPolicy=none &nbsp;<br />Name=en06<br /><br />Мой файл правила udev выглядит так:<br /><br />Код: /etc/udev/rules.d/10-tb-en.rule &nbsp;<br />ACTION=="move", SUBSYSTEM=="net", KERNEL=="en05", RUN+="/usr/local/bin/pve-en05.sh" &nbsp;<br />ACTION=="move", SUBSYSTEM=="net", KERNEL=="en06", RUN+="/usr/local/bin/pve-en06.sh"<br /><br />Похоже, работает отлично! Мне нравится такой способ, потому что имена интерфейсов остаются постоянными, но, честно говоря, это не так важно, lol — больше просто было интересно сегодня вечером разбираться с udev. Я выбрал команду move, основываясь на выводе `udev monitor` (до этого я вообще в жизни на это не смотрел), а там, в конце последовательности настройки переименованной сети, действительно стоит команда move. И я проверил, что имя ядра действительно меняется файлом link.<br /><br />Мой IPv6 OSPF тоже работает, я опубликую свой подход в этом gist, но сейчас уже поздно и пора спать, да и писать gist последний час уже надоело, lol.<br /><br />Это мой первый опыт с Proxmox — ещё нужно установить Ceph и с ним поиграться! Без вашей подсказки я бы точно не справился. Огромное-преогромное спасибо! <br />
			<i>12.08.2023 07:46:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342754/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342754/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Sat, 12 Aug 2023 07:46:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342753/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			В правиле udev нужно использовать thunderbolt0/thunderbolt1, а в скрипте — en05/en06. Вот это и сбивает немного с толку. <br />
			<i>12.08.2023 07:34:00, ualex.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342753/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342753/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Sat, 12 Aug 2023 07:34:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342752/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Хорошо, могу подтвердить, точно такие же проблемы на ProxMox v8. Я пытался использовать это решение для запуска интерфейса, но с переименованными именами en05 и en06 — не работает, не знаю почему. <noindex><a href="https://forum.proxmox.com/threads/thunderbolt-networking.130930/post-579521" target="_blank" rel="nofollow" >https://forum.proxmox.com/threads/thunderbolt-networking.130930/post-579521</a></noindex> <br />
			<i>12.08.2023 02:42:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342752/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342752/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Sat, 12 Aug 2023 02:42:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342751/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Хорошо, я теперь установил Proxmox и знаю на 10 минут больше, чем в прошлый раз.<br /><br />1. Зачем вообще назначать IP какому-либо интерфейсу thunderbolt, если их можно просто подключить к новому бриджу? (спрашиваю, потому что не знаю)<br /><br />2. Обратил внимание, что имена thunderbolt0 и thunderbolt1 не всегда соответствуют одним и тем же устройствам thunderbolt: например, `/devices/pci0000:00/0000:00:0d.2/domain0/0-0/0-1/0-1.0/net/` может быть либо thunderbolt1, либо thunderbolt0 — кажется, номер зависит от порядка подключения кабелей.<br /><br />3. MAC-адреса у устройств интерфейсов не фиксированы, поэтому на них, возможно, нельзя полагаться для надежного сопоставления в этом файле ссылок (если он действительно для этого и служит). Хотя не уверен, что это важно, мне просто интересно, сколько всего там динамического.<br /><br />4. Ещё заметил, что на уровне udev атрибуты `ATTR{ifindex}` и `ATTR{iflink}` тоже динамические.<br /><br />Наконец, вы пытались использовать этот старый способ переименования? У меня получилось заставить его работать для одного интерфейса, но не одновременно для двух — и я никак не могу понять почему: <noindex><a href="https://www.shellhacks.com/change-network-interface-name-eth0-eth1-eth2/" target="_blank" rel="nofollow" >https://www.shellhacks.com/change-network-interface-name-eth0-eth1-eth2/</a></noindex><br /><br /># PCI Thunderbolt 0 &nbsp;<br />SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?",ATTR{address}=="00:00:00:00:00:00",ATTR{dev_id}=="0x0",ATTR{type}=="1",KERNEL=="thunderbolt0", NAME="eth5" &nbsp;<br /><br /># PCI device thunderbolt1 &nbsp;<br />SUBSYSTEM=="net",ACTION=="add",DRIVERS=="?",ATTR{address}=="00:00:00:00:00:00",ATTR{dev_id}=="0x0",ATTR{type}=="1",KERNEL=="thunderbolt1", NAME="eth6" <br />
			<i>11.08.2023 23:01:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342751/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342751/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Fri, 11 Aug 2023 23:01:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342750/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Привет! Сейчас я исследую использование NUC и Proxmox и нашёл твою статью очень полезной. 1. Пробовал ли ты использовать IPv6, как в статье, на которую ты ссылался, вместо IPv4 на Thunderbolt-соединениях? Там много преимуществ, ведь адреса IPv6 по своей природе динамические. 2. Рассматривал ли ты вариант, чтобы сетевой сервис запускался только после того, как все Thunderbolt-сервисы уже запущены? Мне кажется, что порядок запуска может быть причиной проблем при загрузке (у меня сейчас в кластере используется glusterfs, и я уже сталкивался с подобными вопросами). <br />
			<i>08.08.2023 02:29:00, scyto.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342750/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342750/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Tue, 08 Aug 2023 02:29:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
		<item>
			<title>Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</title>
			<description><![CDATA[<b><a href="http://proxmox.su/forum/messages/forum63/message342749/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster">Intel Nuc 13 Pro Thunderbolt Ring Network Ceph Cluster</a></b> <i>Proxmox Виртуальная Среда</i> в форуме <a href="http://proxmox.su/forum/forum63/">Proxmox Виртуальная Среда</a>. <br />
			Привет! У меня проблема с моим кластером Proxmox на Intel Nuc. В кластере 3 Intel Nuc 13 Pro, которые используют по 2 порта Thunderbolt для создания кольцевой сети для связи Ceph. Proxmox/Ceph – Полноценный Mesh HCI кластер с динамической маршрутизацией.<br /><br />Для обработки сетевого маршрутизации я использую FRR и OSPF. Чтобы включить Thunderbolt-порты как сетевые интерфейсы, я загрузил модули ядра "thunderbolt" и "thunderbolt-net" в "/etc/modules" и переименовал интерфейсы с "thunderbolt0" / "thunderbolt1" в "en05" / "en06", чтобы они отображались в GUI Proxmox.<br /><br />Подключение 2-х хостов через Thunderbolt 3 &nbsp;<br />Для этого я создал 2 файла в "/etc/systemd/network/": "10-thunderbolt0.link" и "10-thunderbolt1.link". &nbsp;<br />пример: 10-thunderbolt0.link &nbsp;<br />Код:<br />[Match]  <br />Path=pci-0000:00:0d.2 &nbsp;<br />Driver=thunderbolt-net &nbsp;<br />[Link]  <br />MACAddressPolicy=none &nbsp;<br />MACAddress=02:89:12:b5:35:cf &nbsp;<br />Name=en05 &nbsp;<br /><br />В целом работает! Сеть с гигабитной скоростью 10G, запись на nvme Ceph-хранилище очень быстрая, и миграция ВМ на другой узел проходит отлично. &nbsp;<br /><br />НО! &nbsp;<br />Проблема: каждый раз после перезагрузки узла (на всех наблюдается одинаковое поведение) сетевые интерфейсы en05 и en06 (то есть Thunderbolt-порты) остаются выключенными. &nbsp;<br />Код: &nbsp;<br />5: en05: &lt;BROADCAST,MULTICAST&gt; mtu 1500 qdisc noop state DOWN group default qlen 1000 &nbsp;<br /> &nbsp; &nbsp;link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff &nbsp;<br />6: en06: &lt;BROADCAST,MULTICAST&gt; mtu 1500 qdisc noop state DOWN group default qlen 1000 &nbsp;<br /> &nbsp; &nbsp;link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff &nbsp;<br /><br />Я подумал, что команды "ip link set en05 up" и "ip link set en06 up" при старте решат проблему, но нет. &nbsp;<br />Код: &nbsp;<br />5: en05: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 &nbsp;<br /> &nbsp; &nbsp;link/ether 02:bf:2f:cf:19:a1 brd ff:ff:ff:ff:ff:ff &nbsp;<br /> &nbsp; &nbsp;inet6 fe80::bf:2fff:fecf:19a1/64 scope link &nbsp;<br /> &nbsp; &nbsp; &nbsp; valid_lft forever preferred_lft forever &nbsp;<br />6: en06: &lt;NO-CARRIER,BROADCAST,MULTICAST,UP&gt; mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000 &nbsp;<br /> &nbsp; &nbsp;link/ether 02:ae:57:53:99:83 brd ff:ff:ff:ff:ff:ff &nbsp;<br /><br />Оказалось, что важно, в каком порядке ты поднимаешь интерфейсы на каждом узле: &nbsp;<br />Код: &nbsp;<br />Работает! &nbsp;<br />на Nuc1: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; на Nuc2: &nbsp;<br />ip link set en05 up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ip link set en06 up &nbsp;<br /><br />Не работает: &nbsp;<br />на Nuc1: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;-------&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; на Nuc2: &nbsp;<br />ip link set en06 up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ip link set en05 up &nbsp;<br /><br />Такое поведение у всех узлов! &nbsp;<br /><br />Но это ещё не всё, чтобы фактически установить tcp-соединение или пропинговать другой узел, после каждой перезагрузки мне приходится менять IP-адреса en05/en06, перезапускать службу сети (и потом возвращать обратно исходные адреса). &nbsp;<br />Код: &nbsp;<br />systemctl restart networking.service &nbsp;<br /><br />После этого всё работает нормально, как задумано. &nbsp;<br /><br />Я не понимаю, в чём тут причина, случайно обнаружил, что это действие "решает" проблему. &nbsp;<br />Кто-нибудь знает, почему приходится заново назначать IP-адреса для связи через "en05" и "en06"? &nbsp;<br /><br />Документация &nbsp;<br />Версия Proxmox: 8.0.3 &nbsp;<br />Версия FRR: 8.4.2 &nbsp;<br /><br /><img class="lazyload "  src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" data-src="/upload/forum/proxmox/53097-dedb0c168c95d0d858e5bf3270b66326.jpg" alt="Пользователь добавил изображение" border="0" /> &nbsp;<br /><br />Код: &nbsp;<br />#Конфигурация FRR, router ID разный на каждом устройстве &nbsp;<br /><br />ip forwarding &nbsp;<br />! &nbsp;<br />router ospf &nbsp;<br /> ospf router-id 0.0.0.1 &nbsp;<br /> log-adjacency-changes &nbsp;<br /> exit &nbsp;<br />! &nbsp;<br />interface lo &nbsp;<br /> ip ospf area 0 &nbsp;<br /> exit &nbsp;<br />! &nbsp;<br />interface en05 &nbsp;<br /> ip ospf area 0 &nbsp;<br /> ip ospf network point-to-point &nbsp;<br /> exit &nbsp;<br />! &nbsp;<br />interface en06 &nbsp;<br /> ip ospf area 0 &nbsp;<br /> ip ospf network point-to-point &nbsp;<br /> exit &nbsp;<br />! <br />
			<i>24.07.2023 16:58:00, l-koeln.</i>]]></description>
			<link>http://proxmox.su/forum/messages/forum63/message342749/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</link>
			<guid>http://proxmox.su/forum/messages/forum63/message342749/79918-intel-nuc-13-pro-thunderbolt-ring-network-ceph-cluster</guid>
			<pubDate>Mon, 24 Jul 2023 16:58:00 +0300</pubDate>
			<category>Proxmox Виртуальная Среда</category>
		</item>
	</channel>
</rss>
