Аспро: ЛайтШоп [тема: Помощь с установкой Proxmox Ceph-reef или Quincy.]

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 17:46:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ух, ну и куча документации, похоже, будет не так уж и просто. Есть у тебя второе рекомендованное решение? Может, вернемся к LVM?
23.04.2025 17:46:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 17:34:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Для 4. нужна OCFS2. Её можно использовать в Proxmox как сетевой каталог хранения, как NFS. С qcow2 для образов ВМ получаешь тонкий прови́зионинг и снапшоты. Но эта конфигурация официально не поддерживается компанией, которая делает Proxmox. OCFS2 нужно настраивать самостоятельно.
23.04.2025 17:34:00, gurubert.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 06:43:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
С SAN и LUN, представленными каждому хосту Proxmox, вы не используете Ceph, потому что SAN уже имеет собственное внутреннее реплицирование (RAID). Вы можете использовать LVM поверх LUN, как указано в документации Proxmox. Или, если вам хочется чего-то похожего на VMFS, вы можете использовать кластерную файловую систему, например OCFS2, поверх LUN. Но это официально не поддерживается Proxmox, вам придется настраивать все самостоятельно. Есть несколько обсуждений на этом форуме об OCFS2.
23.04.2025 06:43:00, gurubert.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 04:22:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Так не работает Ceph. Каждый диск – это отдельный бакет. Сервер имеет кучу бакетов. Если Ceph настроен на 3 копии, то по умолчанию он будет хранить одну копию каждого блока данных минимум на 3 разных серверах, в любом бакете, который ему заблагорассудится. Так что файл жесткого диска VM может (скорее всего) быть разбросан по всем дискам. Сколько у вас серверов – не особо важно, кроме как то, что нужно хотя бы 3, лучше больше. Как только всё настроено, все серверы увидят "диск VM" и не будут беспокоиться о том, "где" он находится.
23.04.2025 04:22:00, SteveITS.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 01:50:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ребята, спасибо за поддержку. Это будет последнее сообщение – я знаю, как надоедает постоянно спрашивать на форумах. Итак, моя ситуация: у меня есть FC 420 TB Hitachi через Fibre backend на HBA картах. Хочу понять, какое решение будет оптимальным, поскольку репликация должна происходить во всех сценариях. Я думал, возможно, какая-то файловая система, и я надеялся, что это будет Cephfs. Но если я это реализую, есть ли там авто-дедупликация и тонкое выделение места, как я и думаю? Если я это скомбинирую с клонированием дисков с родительским шаблоном, будет ли это приемлемым решением, чтобы не тратить столько места из-за репликации виртуальных машин на каждый LUN? Сейчас у меня 10 x 16 tb LUNs выделены на ESXi VMFS, и это кластер-адаптивно, каждый узел ESXi может совместно использовать LUN, вы это, наверное, уже знаете. Какое лучшее решение у меня здесь? Моя сеть на стороне LACP – 9000 mtu. Итак, в комбинации с FC LUNs от Hitachi через Fiber и плюс LACP networking, как мне лучше всего не терять так много дискового пространства из-за требований к репликации? Надеюсь, я достаточно хорошо это объяснил. Если есть вопросы, пожалуйста, дайте знать. Я действительно ценю ответы, и я тот парень в нашей мастерской, который может сделать из Proxmox отличный бренд для нас, если я смогу разобраться, как не терять так много места из-за требований к репликации. Мне ещё предстоит долгий путь с контейнерами и плагинами. Мне просто нужно преодолеть этот последний "холмик". Потому что любое, что вы ребята порекомендуете, будет использоваться в дальнейшем во многих средах в моём офисе. Спасибо вам огромное!!!!
23.04.2025 01:50:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Tue, 22 Apr 2025 11:03:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, почитав ещё, кажется, всё равно потеряю место на диске, потому что всё реплицируется со всеми остальными OSD/пулами. Какой здесь самый лучший способ при большом количестве ВМ, чтобы не терять столько места с репликацией? (Это значит, например, если у меня 5 нод, у меня будет 5 ВМ каждой виртуальной машины, представленной на все ноды Proxmox). Вариант dedup/thin provisioning, чтобы компенсировать то, как это спроектировано, чтобы ВМ была на каждом LUN, представленном на все ноды. Спасибо.
22.04.2025 11:03:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Tue, 22 Apr 2025 10:08:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ого, я думал, что таблица с файловыми системами, которую выложили, говорила, что Ceph поддерживает кластерные файловые системы? Это же по Fibre Channel. Я уже сделал мультипуть и вижу LUN, который мы предоставили. То есть, например, вы говорите, что я не могу использовать cephFS как 1,5 ТБ LUN, подключенный ко всем узлам? Я не смогу переносить ВМ с узла на узел, если эта файловая система поддерживает кластер? Я тут по-настоящему старался. Хотелось избежать репликации и просто переносить состояние ВМ на другой узел на том же LUN. Надеюсь, понятно. Как VMFS в VMware. Спасибо ещё раз.
22.04.2025 10:08:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Wed, 23 Apr 2025 14:34:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Так, допустим, у меня есть один 10-терабайтный LUN. Я могу представить его всем узлам Proxmox? С OCFS2? Тогда будет мигрировать только состояние памяти? У меня может быть, например, 50 ВМ на узле Proxmox 1, и я могу мигрировать все 50 ВМ на узел Proxmox 2, и будет мигрировать только состояние памяти? Без репликации в фоне для дисков. Согласно этой статье https://pve.proxmox.com/wiki/Storage, только Ceph отвечает "да/да/да" по всем параметрам. Прежде чем двигаться дальше, просто хочу убедиться, что OCFS2 — лучший выбор. Это бесплатно? Хочу как можно ближе перейти с VMware из-за проблемы с Broadcomm. Или что-то, что я могу сделать "лучше", как я слышал про самовосстановление ZFS и хорошо справляется с ремонтом. Если я могу сделать лучше, то это то, что мне нужно. Однако мне придется использовать ZFS с разными LUN для каждого узла Proxmox, и если я буду реплицировать виртуальные машины, не повлияет ли это на производительность? Нам определенно нужна опция снимков перед применением патчей или вмешательством в серверы. Я еще раз все проанализирую, чтобы решить, какое очевидное решение подойдет:
1. Я использую LACP во всех сетях и могу сегментировать трафик/VLAN.
2. Я использую FC с хранилищем через HBA. Да, на самом деле это RAID в конфигурации на заднем плане, и я могу представить его каждому узлу Proxmox. Однако, когда я представил это узлам Proxmox и выполнил миграцию, он мигрировал весь диск в тот же LUN, как если бы это был совершенно другой LUN. Было странно.
3. Файловая система в Proxmox, однако, когда я представляю LUN, я могу делать снимки и мигрировать на другой узел без репликации дисков, просто перенося состояние памяти.
4. Есть ли предложения по файловой системе, которая включала бы тонкое выделение с возможностью создания снимков?
4. Буду очень признателен за любые предложения. Спасибо еще раз.
23.04.2025 14:34:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Tue, 22 Apr 2025 09:16:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У вас LUN с SAN представлен всем Proxmox-нодам по FC или iSCSI? Это нельзя использовать с Ceph. Ceph использует локальные диски и реплицирует данные по сети. С LUN можно использовать LVM как хранилище для ВМ.
22.04.2025 09:16:00, gurubert.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Mon, 21 Apr 2025 22:44:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет еще раз, я обошел проблему с оффлайн зеркалом, чтобы установить Ceph Reef. Теперь, когда это установлено, я могу предоставить что-то вроде LUN на 10 ТБ всем моим нодам Proxmox, и они будут использовать один и тот же LUN. Перемещение ВМ с ноды на ноду теперь должно быть простым. Просто хотел убедиться, что это не как если у меня 5 нод, и мне нужно предоставить 5x10 ТБ как один LUN каждой ноде, и это будет реплицироваться. Насколько я понимаю, это, фактически, общая память? Спасибо.
21.04.2025 22:44:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 13:56:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Извини, я кое-что упустил. Этот репозиторий здесь http://download.proxmox.com/debian/. Еще, объясняю подробнее: я подключил 4 ТБ LUN, и он был виден на всех трех нодах. Когда я перенес ВМ на node1, которая сидела на 4 ТБ LUN, на node 2, на 4 ТБ LUN (тот же LUN), она скопировала все 100 гигов Windows. Но, похоже, ZFS и LVM-thin не кластер-aware, только Ceph. Еще раз спасибо.
18.04.2025 13:56:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 13:41:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет еще раз. Если я использую этот репозиторий, скачиваю все и настрою файлы sources.list и ceph.list соответственно, должно сработать и я пройду мимо проблем с Python и кучей зависимостей? У нас есть хранилище на базе LUN, довольно много больших, типа по 16 ТБ, около 15 штук. Пытаюсь что-то развернуть на кластере Proxmox, чтобы он это понимал. Похоже, Ceph — правильный выбор, но сложновато. Я пытался с ZFS, сделал все с multipath, и мои узлы видят LUN отлично. Но, похоже, мне приходится реплицировать ВМ на каждый LUN, чтобы его мигрировать. Я надеялся, что ВМ будет существовать и видна всем узлам из одного и того же LUN. Даже пробовал LVM-thin, но и это, похоже, надо реплицировать. Просто пытаюсь правильно спроектировать это, это последнее, что не могу запустить. Спасибо.
18.04.2025 13:41:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 12:48:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
https://pom.proxmox.com/
18.04.2025 12:48:00, spirit.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 11:36:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Так вот, я сейчас сижу за своим компьютером и могу создать менеджера. Но когда пытаюсь его запустить, выбивает сообщение об ошибке: "task failed command /bin/systemctl start ceph-mgr@proxmox failed exit code 1".
18.04.2025 11:36:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 11:20:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, спасибо за ответ. Короче, я смонтировал полный DVD-образ Debian, смонтировал Proxmox PVE и смонтировал оба диска. Они есть в sources.list как deb [trusted=yes] file:///storage/mnt1 и mnt2. Потом сделал apt update apt upgrade. Так как я в изолированной сети, использую PowerShell и wget, чтобы скачать всё содержимое из репозиториев для Ceph Reef и получил все deb-файлы. Скопировал deb-файлы в локальную папку на одном из узлов. Потом сделал dpkg -i *.deb и запустил fix-install тоже. Это позволило мне выйти в GUI на UI, потом там попросили настроить. Я такой: "О, круто!" И пошел до конца до мониторинга, там всё работало и было здоровым. А когда пытаюсь "создать менеджер", вот тут я застрял. Так что теперь я в постоянных циклах из-за зависимостей после ручной установки всех python deb и попыток получить все их зависимости. У меня есть ceph-mgrxxxxx.deb штук куча, но если пытаюсь установить, как будто попадаю в кроличью нору, постоянно застреваю, когда пытаюсь dpkg -i libpython3.13-stdlib, и выдает ошибку, мол пакет libpython3.13-std.lib не установлен. Эх, если бы был репозиторий, из которого можно было бы просто установить всё необходимое для установки ceph-mgr или чего-то ещё. Спасибо ещё раз.
18.04.2025 11:20:00, polarbear.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 10:25:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, как ты пытался установить Ceph? Ты настроил правильные репозитории apt? Пробовал использовать наши инструменты, например, через веб-интерфейс в разделе Datacenter -> -> Ceph или через CLI pveceph?
18.04.2025 10:25:00, cheiss.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Thu, 24 Apr 2025 10:58:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Для LVM-хранилища @bbgeek17 написал вот эту очень полезную информацию -> https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/
24.04.2025 10:58:00, ce3rd.

Помощь с установкой Proxmox Ceph-reef или Quincy.

Fri, 18 Apr 2025 01:00:00 +0300

Помощь с установкой Proxmox Ceph-reef или Quincy. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем, это мой первый пост здесь. У меня установлена и работает последняя версия Proxmox 8.4.1, впечатлён. Однако, я не могу установить Ceph целиком. Мониторы настраиваются нормально, но я не могу установить или настроить ceph-mgr. Я пробовал установить его вручную, и он просит кучу зависимостей с Python. Я работаю в изолированной сети. Есть ли способ решить эту проблему и сделать процесс более плавным в будущем при каждом обновлении? Огромное спасибо.
18.04.2025 01:00:00, polarbear.