Привет, сообщество, я создал гиперконвергентный кластер ProxMox Cloud в качестве экспериментального проекта. Особенности: использование узлов вычислений 1blu.de: 1 евро/месяц, использование узла хранения 1 TB от 1blu.de: 9 евро/месяц, использование LAN на основе Vodafone Cable Internet IPV6 DS-LITE (VF NetBox). Кластер ProxMox использует публичный интернет для коммуникации между узлами. Кластер может запускать только LXC контейнеры (нет VMX флага, нет вложенной виртуализации), контейнеры могут перемещаться между узлами вычислений, контейнеры могут переключаться (режим перезапуска), узлы вычислений разделяют устройство Ceph, используя все локальное хранилище машин ProxMox, оставшееся от корневой файловой системы после установки ProxMox. Ceph использует публичный интернет, каждый узел вычислений является менеджером Ceph и запускает монитор Ceph для OSD. Ceph-FS доступен на основе RDB, контейнеры могут использовать Ceph RDB, локальное хранилище или NFS-NAS (1 TB) для изображений, контейнеры могут использовать смонтированный Google Drive через nfs-rclone (1 PB) для дампов, шаблонов контейнеров, файлов, баз данных и т.д. Контейнеры могут подключаться к программно определенной (SDN) VXLAN, охватывающей контейнеры на произвольных узлах вычислений и шлюзу WireGuard для безопасной связи с LAN. Контейнеры могут выходить в публичный интернет напрямую через свой узел вычислений (NAT). LAN использует маршрутизатор gl.inet Mango в качестве шлюза WireGuard в кластер ProxMox. Клиенты LAN получают маршрутизацию в кластер от DHCP сервера на маршрутизаторе gl.inet Mango. Шаги, которые я прошел: подготовьте узлы вычислений, загрузив ISO ProxMox 7, введите публичные IP-адреса, маски, имена хостов, ваш email и т.д., выберите весь диск для ProxMox, подключитесь через VNC и отредактируйте /etc/network/interfaces: добавьте MAC-адреса в /etc/network/interfaces, так как ip-сфуфинг делает ваши узлы ProxMox недоступными (см. заметки по обновлению ProxMox) — после этого перезагрузитесь, и вы сможете получить доступ к интерфейсу ProxMox. Включите пересылку IP на всех узлах вычислений, установите репозитории ProxMox 7, обновите, обновите и установите Ceph (v16.2) на всех узлах вычислений, создайте кластер. Код: apt install fail2ban на всех узлах вычислений (необязательно), удалите pve/data из всех узлов вычислений через терминал: Код: lvremove pve/data. Создайте новые данные с помощью: Код: lvcreate -n data -l100%FREE pve, это будет OSD узла вычислений, с 3 узлами вычислений мы получим 3 OSD. ProxMox больше не поддерживает разделы в качестве инфраструктуры для OSD, поэтому мы должны заставить это сделать, и не можем использовать интерфейс ProxMox для создания наших OSD. И тут начинается обман: ProxMox не дает нам создать наши OSD простым способом, так как у нас НЕТ локальной сети для трафика Ceph. Рекомендуется не использовать публичный интернет для трафика Ceph, НО мы вынуждены это делать, так как у нас нет установленной второй сетевой карты в узлах вычислений. Так что мы заставляем Ceph использовать публичный интернет, редактируя /etc/pve/ceph.conf. Это не рекомендуется, так как это создает огромные объемы трафика в нашей продуктивной сети (которая также является публичным интернетом между нашими узлами вычислений). Помните, что это экспериментальный проект! Ceph жалуется на то, что не может найти ceph.keyring, так что я запустил Код: ceph auth get-or-create client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring, чтобы создать его на каждом узле вычислений. Принудительно создайте новый OSD Ceph, используя нашу вновь созданную раздел pve/data: Код: ceph-volume lvm create --data /dev/pve/data. С помощью VPS за 1 евро, который я использовал в качестве узлов вычислений, я получил OSD более 80 ГБ: используя интерфейс ProxMox на уровне дата-центра, я создал блочное устройство RADOS (rbd), используя все OSD узлов вычислений. Мы только что создали зеленую сеть Ceph RDB, показанную в обзоре, между 3 VPS, используя публичный интернет в качестве сети для трафика Ceph. Используя интерфейс, вы можете наблюдать, как Ceph жонглирует блоками между вашими узлами вычислений — не рекомендуется для интенсивного использования, так как iowait вас прикончит. Но это весело наблюдать... — мы только что создали гиперконвергентный кластер ProxMox Ceph в облаке, используя 3 VPS — вы также можете создать серверы метаданных на каждом узле вычислений, используя интерфейс Ceph ProxMox на каждом узле, и, кроме того, создать CephFS поверх RDB, который мы только что создали (необязательно). RDB — это инфраструктура с тонким выделением, которую вы можете использовать для развертывания контейнеров, которые автоматически реплицируются по всем включенным узлам на уровне блоков. Вы также можете создать связанные клоны контейнеров на RDB, которые используют минимальное количество хранилища для отдельных конфигураций и данных и делят общие блоки с основным контейнером. Всё распределено по вашему кластеру из трех недорогих узлов в облаке. Настройте узел хранения (я выбрал вариант на 1 ТБ за 9 евро) с NFS-сервером и rclone на вашем узле хранения, настройте смонтированный rclone для вашего Google Диска (необязательно). Я использую кэширование VFS, и узлы вычислений могут использовать всё 1 ТБ хранилища в качестве кэша Rclone, но вы можете ограничить Rclone, как хотите. Могу сказать, что мой Google Диск работает молниеносно и доступен на всех узлах вычислений. К сожалению, я не смог настроить ISOs и диски контейнеров VM на этом монтировании — некоторые функции файловых систем, такие как усечение и случайный доступ к блокам в файле, похоже, не поддерживаются монтированием Rclone. Я поделился оставшейся частью 1 ТБ как NFS-экспортом со всеми узлами вычислений (показанным как nfs-nas). Это также можно использовать для запуска контейнеров с тонким выделением. Скорость довольно разумная. Мы только что создали фиолетовую SAN, показанную в обзоре. Я заставляю Rclone очищать кэш VFS после 24 часов. Вот скрипт systemd для rclone на узле хранения: Вы можете наблюдать за тем, как Rclone заполняет и очищает кэш, используя интерфейс ProxMox: — мы только что создали чертов кластер ProxMox за 12 евро с 1 ТБ общего хранилища и 1 ПБ дополнительного/опционального хранилища — продолжение следует...