+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Добавление общих хранилищ к узлам кластера Proxmox. Сегодня решил немного поковыряться с Proxmox и настроил общие хранилища для моих узлов кластера. Получилось, правда, с небольшими трудностями, но теперь все работает как часы! Для тех, кто тоже думает

RSS

jamil-rahman

Guest

26.06.2022 09:11:00

У меня несколько физических серверов, все они сконфигурированы в одном кластере Proxmox. Столкнулся с проблемой добавления хранилища, которое нужно совместно использовать между всеми узлами. У меня система хранения на базе Fiber Channel SAN, и обычно из нее нужно создать LUN, который можно экспортировать на множество хост-серверов. Так вот, я создал 1 LUN (виртуальный том), который экспортирован на все узлы в кластере Proxmox. Хочу добавить созданный LUN в качестве общего хранилища в PVE, чтобы все узлы могли одновременно получать доступ к этому хранилищу, и тогда миграцию вычислений можно было бы делать легко, без миграции хранилища. Отчаянно жду ваших советов.

N.B: Я пробовал CephFS, но Ceph не совместим с дисками, которые работают на аппаратном RAID-контроллере. Поэтому Ceph мне не подходит.

jamil-rahman

Guest

13.07.2022 07:38:00

Извини, bbgeek17, а вообще-то, я не знал, что тонкое выделение ресурсов связано с функцией снимков. Можно ли получить функцию тонкого выделения ресурсов с помощью LVM? Или есть какое-нибудь лучшее решение для моего случая?

tomachi

Guest

16.07.2024 14:50:00

У меня есть два физических тома LVM на двухузловом кластере. Похоже, я не поставил галочку "общий" при создании, и я не вижу, как это сделать сейчас. И когда я нажимаю "Создать группу томов", появляется сообщение "Нет неиспользованных дисков". Мне нужно будет удалить их / переформатировать LVM, создавая зеркало? Или это относится только к SAN и с LUN/NAS, в то время как я использую локально подключенные SSD на узле 1 и RAID-5 массив на узле 2?

bbgeek17

Guest

16.07.2024 15:01:00

Привет, @tomachi, прежде чем ты будешь советовать что-то «взрывать», пожалуйста, выложи вывод следующих команд (в CODE тегах):

- lsblk
- multipath -ll
- pvs
- vgs
- cat /etc/pve/storage.cfg
- pvesm status

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

tomachi

Guest

16.07.2024 17:07:00

Окей, круто, спасибо. Код: root@hulk:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 136.7G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 1G 0 part
└─sda3 8:3 0 135.7G 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 43.9G 0 lvm /
├─pve-data_tmeta 252:3 0 1G 0 lvm
│ └─pve-data-tpool 252:6 0 65.8G 0 lvm
│ ├─pve-vm--202--disk--0 252:2 0 16G 0 lvm
│ ├─pve-data 252:7 0 65.8G 1 lvm
│ └─pve-vm--201--disk--0 252:8 0 58G 0 lvm
└─pve-data_tdata 252:4 0 65.8G 0 lvm
└─pve-data-tpool 252:6 0 65.8G 0 lvm
├─pve-vm--202--disk--0 252:2 0 16G 0 lvm
├─pve-data 252:7 0 65.8G 1 lvm
└─pve-vm--201--disk--0 252:8 0 58G 0 lvm
sdb 8:16 0 1.4T 0 disk
└─sdb1 8:17 0 1.4T 0 part /mnt/pve/xfs_dir
sr0 11:0 1 1024M 0 rom
-bash: multipath: команда не найдена

Я использую бесплатную версию.
pvs
PV VG Fmt Attr PSize PFree
/dev/sda3 pve lvm2 a-- <135.70g 16.00g

root@hulk:~# pvs
PV VG Fmt Attr PSize PFree
/dev/sda3 pve lvm2 a-- <135.70g 16.00g
root@hulk:~# vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 5 0 wz--n- <135.70g 16.00g
root@hulk:~# cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content rootdir,iso,backup,snippets,vztmpl,images
shared 0

lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images

dir: xfs_dir
path /mnt/pve/xfs_dir
content backup,iso,rootdir,images,snippets,vztmpl
is_mountpoint 1
nodes hulk

root@hulk:~# pvesm status
Name Type Status Total Used Available %
local dir active 45015956 11213504 31483300 24.91%
local-lvm lvmthin active 68964352 39702777 29261574 57.57%
xfs_dir dir active 1463962488 761773140 702189348 52.04% другой машины Код: pvesm status
Name Type Status Total Used Available %
local dir active 71150744 16845792 50644972 23.68%
local-lvm lvmthin active 148488192 51852076 96636115 34.92%
xfs_dir dir disabled 0 0 0 N/A
root@elite:~#

bbgeek17

Guest

16.07.2024 17:12:00

@tomachi, я перечитал твой пост и вижу, что твои диски LOCAL. В случае Local у тебя нет возможности сделать SHARED. Эта тема тебя ничуть не касается. Удачи!

PS твой текущий не-root диск с единственного показанного тобой ноды (sdb) уже отформатирован в XFS и смонтирован как директория. У тебя, в общем-то, нет свободных дисков для создания LVM volume. И я не вижу причины, чтобы ты это делал.

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

tomachi Guest	#7 0 16.07.2024 17:12:00 Я очень доволен системой пока что. Мне удалось клонировать NAS onemediavault, используя локальную установку local-lvm, просто выключив его и перенеся — для моих нужд это было идеально быстро. Я заплатил всего 50 долларов за HP DL380 G7 в стойку! Два Xeon + 36 ГБ и аппаратный RAID со вращающимся диском. При установке proxmox использовал хак "nomodeset gfxpayload=640"!

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры