http://proxmox.su Новое в теме Вопрос по Kubernetes + Proxmox + persistent volume. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 25 Apr 2026 01:25:19 +0300 Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я знаю Kubernetes, но Ceph мне менее знаком. Вижу, что Proxmox работает с Ceph и есть несколько пулов, но в моей настройке CephFS пока не активирован. Значит ли это, что мне нужно включить сервер метаданных, а затем CephFS? Мне кажется, для работы Proxmox должно быть запущено либо RBD, либо CephFS в Ceph, верно?

Вот моя текущая конфигурация:

Code: $ cat values.yaml

ceph-csi-rbd:

 csiConfig:
 - clusterID: "1c3f0c6f-696c-4cc0-b29c-e68f73ba9e4b"
   monitors:
   - "10.0.0.21:6789"
   - "10.0.0.23:6789"
   - "10.0.0.22:6789"
   rbd:
     netNamespaceFilePath: ""
     mirrorDaemonCount: 1
   readAffinity:
     enabled: true
     crushLocationLabels:
     - topology.kubernetes.io/region
     - topology.kubernetes.io/zone

 storageClass:
   # Specifies whether the storageclass should be created
   create: true
   name: ceph-rbd
   annotations:
     storageclass.kubernetes.io/is-default-class: "true"

   clusterID: "1c3f0c6f-696c-4cc0-b29c-e68f73ba9e4b"
   pool: "ceph-rbd"

Всё это работает с RBD. После того, как я настрою и RBD, и CephFS, я что-нибудь напишу. Не совсем понимаю, почему "netNamespaceFilePath", установленный в "", работает, или в чем состоит ошибка, о которой говорится на странице GitHub, и которая связана с этой переменной.
27.10.2024 02:21:00, lknite.]]> http://proxmox.su/forum/messages/forum63/message335325/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335325/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Sun, 27 Oct 2024 02:21:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@Urbaman, а ты случайно не писал, как подключиться к Proxmox Ceph через k8s? Или есть какая-то ссылка? Понимаю, что придётся как-то экспортировать ресурсы Ceph и импортировать их в каждый кластер с помощью ceph csi. Ищу статью, которая помогла бы сэкономить время, если возможно.
27.10.2024 00:46:00, lknite.]]> http://proxmox.su/forum/messages/forum63/message335324/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335324/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Sun, 27 Oct 2024 00:46:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я попробовал разные решения для хранения данных в K8s, работающем на Proxmox VMs, и, вероятно, выяснил несколько полезных вещей, о которых стоит подумать перед развертыванием кластера для выбора лучшего решения для постоянных томов. Если у вас работает Ceph на Proxmox, то лучший способ — Ceph CSI или Rook с внешним кластером, основанным на Proxmox. У вас будут возможности как RBD (блочные устройства), так и CephSF (доступ к файлам). Все остальные решения для хранения данных (GlusterFS, Longhorn, NFS, OpenEBS) лучше использовать на bare metal, а не на виртуальных дисках, и стоит пробовать их только с пробросом диска, чтобы избежать задержек Ceph или ZFS в Gluster, NFS, Longhorn или OpenEBS. Им требуются другие ресурсы для работы (другие VMs, ресурсы k8s и т.д.) и они только увеличивают общую задержку хранения, если они не в своей собственной среде. Проxmox кластеры с достаточным количеством узлов и ресурсов (надежные 10G+ сети для Ceph, диски) могут настроить Ceph и/или CephFS пулы и получать к ним доступ через Rook или Ceph CSI, и это более "нативное" решение, поэтому я думаю, стоит попробовать, если это возможно, для стабильности, надежности и производительности. После многих попыток я решил остаться на Ceph, поскольку он "родной" для Proxmox и из-за моей схемы распределения дисков (в основном 2 диска одного типа и размера на узел, поэтому невозможно пробросить их всем k8s worker'ам, и это может стать настоящей головной болью для различения их по типу/размеру во всех остальных решениях для хранения данных). Таким образом, я могу легко получить все, что мне нужно, на стабильном и производительном распределенном хранилище.
08.02.2024 09:51:00, Urbaman.]]> http://proxmox.su/forum/messages/forum63/message335323/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335323/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Thu, 08 Feb 2024 09:51:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, пытаюсь настроить стабильный кластер k8s VM. У меня 3 узла PVE, VM на Ceph пуле с быстрыми NVMe. Сейчас использую Longhorn на виртуальных дисках в том же Ceph пуле, но всегда происходит сбой, когда запускаются задания резервного копирования VM или когда я перезагружаю узлы PVE для обслуживания: всегда приходится перезапускать поды, потому что не получается подключить хранилище. В прошлый раз ещё и несколько postgres БД потерял... Также реализовал VM с Truenas и NFS-шарами (HDD на Ceph и SSD на Ceph), они, похоже, более стабильны, использую для менее критичных данных (документы, медиа). Не знаю, стоит ли добавлять ещё один NFS-шар на более быстрое хранилище (Ceph на NVMe). Есть какие-нибудь идеи, как это сделать более стабильно (OpenESB, Rook и т.д.)?
01.02.2024 16:55:00, Urbaman.]]> http://proxmox.su/forum/messages/forum63/message335322/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335322/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Thu, 01 Feb 2024 16:55:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На мой взгляд, OpenEBS и CAS – это будущее хранения данных для K8s. Кажется, они отлично интегрированы в K8s (Mayastor выглядит очень перспективно!). Но я пока не пробовал, так что… могу и ошибаться, конечно.
10.01.2023 17:20:00, kamzata.]]> http://proxmox.su/forum/messages/forum63/message335321/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335321/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Tue, 10 Jan 2023 17:20:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Думаю, можно с уверенностью сказать, что путей к "функциональности" множество. Но многие из них глупые, или дорогие, или просто чрезмерно сложные. Думаю, также вполне обоснованно задать вопрос, и, надеюсь, ответить на него, в виде концентрированного вопроса: > какой путь наиболее вероятен для приятного и работоспособного мультиузлового решения?

Моя "домашняя лаборатория" — это 6-узловой кластер Dell R720xd, каждый хост заполнен примерно 20 400G SSD (на каждый). Работает Ceph.

Я бы хотел:

- максимально использовать существующие инструменты.
- оставаться в пределах досягаемости рук от `поддерживаемой` конфигурации.
- избегать явных антипаттернов.
- не заставлять инженеров PVE тихонько плакать.
- попробовать выстроить путь, который "в целом не отстой" для большой массы людей, желающих использовать PVE для облегчения развертывания k8s кластера.
- достичь разумной производительности для небольшой рабочей среды.
- чтобы все это оставалось управляемым/доступным по цене для среднего энтузиаста, разворачивающего Ceph.

Ceph CSI **КАЖЕТСЯ** подходящим вариантом... Есть ли здесь хоть сколько-нибудь проторенный путь? Знает ли кто-нибудь о скрытых подводных камнях, о которых будущему-мне было бы полезно узнать, прежде чем бродить по минному полю босиком? Что ещё стоит рассмотреть?
10.01.2023 04:07:00, wolfspyre.]]> http://proxmox.su/forum/messages/forum63/message335320/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335320/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Tue, 10 Jan 2023 04:07:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не уверен, что я вас правильно понял. Добавление HA к домашнему NFS-серверу и попытка достичь 500 000 IOPS, при этом работая в VM – возможно, но, по моему мнению, это не простая задача. Инвестирование в HA NFS NAS-решение – это уже другой разговор. Если у вас есть бюджет на этот проект, скорее всего, существуют коммерческие предложения, которые удовлетворят ваши потребности и будут готовы к производству, будучи при этом быстрыми. Ищите хранилища с CSI драйвером и оцените их функции и возможности в контексте ваших требований. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
04.01.2023 01:47:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message335319/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335319/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Wed, 04 Jan 2023 01:47:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Как насчёт добавления HA и производительности? CAS решения вроде OpenEBS Mayastor кажутся мне отличным выбором, но пока что они не готовы к продакшену, а cStor, как я слышал, очень медленный.
04.01.2023 01:29:00, kamzata.]]> http://proxmox.su/forum/messages/forum63/message335318/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335318/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Wed, 04 Jan 2023 01:29:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В компьютерах очень редко бывает "лучший" способ что-либо сделать. Все зависит от ваших требований, знакомства с решением и, часто, бюджета. NFS лучше, чем Ceph, LVM или Blockbridge? Все 4 — совершенно разные подходы с разными результатами. У вас есть гипервизор в распоряжении, запустите в отдельной VM "NFS-сервер" и посмотрите, подойдет ли он вам. Это, пожалуй, один из самых простых подходов, требующий наименьшее количество ресурсов. Но это если не начинать добавлять к нему отказоустойчивость и производительность. Blockbridge: ультра-низкая задержка, общий NVMe-хранилище для Proxmox — https://www.blockbridge.com/proxmox
03.01.2023 21:12:00, bbgeek17.]]> http://proxmox.su/forum/messages/forum63/message335317/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335317/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Tue, 03 Jan 2023 21:12:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня тот же вопрос. Как лучше всего интегрировать хранилище для кластера K8s из виртуальных машин в Proxmox? Может быть, NFS-шару?
03.01.2023 21:05:00, kamzata.]]> http://proxmox.su/forum/messages/forum63/message335316/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335316/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Tue, 03 Jan 2023 21:05:00 +0300 Proxmox Виртуальная Среда Вопрос по Kubernetes + Proxmox + persistent volume. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы настраиваем Kubernetes кластер с использованием Proxmox, и я хотел бы узнать, какой лучший способ организации постоянных томов. То есть, как лучше всего предоставлять постоянные тома с точки зрения стабильности и простоты администрирования для клиентов и администраторов. Если есть какие-то ссылки или у кого-то есть опыт, буду рад, если поделитесь.
16.08.2022 17:38:00, Mani.]]> http://proxmox.su/forum/messages/forum63/message335315/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. http://proxmox.su/forum/messages/forum63/message335315/79158-vopros-po-kubernetes-_-proxmox-_-persistent-volume. Tue, 16 Aug 2022 17:38:00 +0300 Proxmox Виртуальная Среда