http://proxmox.su Новое в теме Подключение пула Ceph для полного новичка форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Mon, 20 Apr 2026 17:02:35 +0300 Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Twinsen! Я немного в такой же ситуации, как и ты. Одно, что я нашёл и что может тебя заинтересовать — это то, что cephFS можно расшарить через SMB/CIFS. Если сделать это на всех твоих нодах и использовать DNS-балансировку нагрузки или, возможно, виртуальный IP (но как это сделать — я ещё не знаю), то теоретически можно сделать вот что: SMB-клиент подключается к smb://smbceph.example.lan, который балансирует нагрузку между 192.168.1.101, 192.168.1.102 и 192.168.1.103. Содержимое CephFS одинаково на каждой ноде, потому что это CEPH. Если одна нода упадёт, балансировка нагрузки обеспечит плавное переключение клиента на следующую ноду. Это пример основан на моём текущем понимании, которое может быть неполным. Вполне возможно, что я и вовсе ошибаюсь. Если это так — скажи, пожалуйста. Подробнее про использование SMB/CIFS с cephFS можно поискать по запросу "vfs_ceph.8". (Я бы дал прямую ссылку, но как новый пользователь на этом форуме я не могу публиковать внешние ссылки). Я сам ещё в процессе изучения, и пока не знаю, как это всё реализовать. Но, может, мы поможем друг другу (и сообществу), разберёмся вместе!

Правка: Я поискал и выяснил, что ceph.so, который входит в состав vfs_ceph, отсутствует в версии samba, которая идёт с Debian Stretch, зато есть в Buster. Значит, нам нужно импортировать .deb пакет. Я нашёл последнюю версию, которая должна включать ceph.so: packages.debian.org/sid/amd64/samba/download  
Её надо установить командой # dpkg -i samba_4.7.4+dfsg-1_amd64.deb  
Возможно, потом потребуется чистка через # apt-get install -f  

Дальше следующие шаги:  
1. Запустить cephFS — https://forum.proxmox.com/threads/cephfs-installation.36459/  
2. Смонтировать cephFS с помощью ceph-fuse  
3. Поделиться монтированием cephFS через SMB vfs_ceph
05.02.2018 10:49:00, fvanlint.]]> http://proxmox.su/forum/messages/forum63/message349964/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349964/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Mon, 05 Feb 2018 10:49:00 +0300 Proxmox Виртуальная Среда Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, ребята! Хочу сделать небольшой файловый сервер для дома с преимуществами CEPH и Proxmox. Чтобы понять, как все работает, я настроил это в VMware Workstation просто для теста и обучения. Что получилось:  
- рабочий кластер Proxmox  
- рабочий кластер CEPH  
- 6 OSD подняты и работают — маленькие, так как это только тесты  
- создан пул для всего нужного (контейнеры, образы)  

Сейчас качаю turnkey-fileserver — LXC-контейнер. Он использует Samba и другие способы шаринга для обмена данными. Но ему нужна локально смонтированная папка, которую потом будут шарить. По инструкциям выше в этой теме, мне надо смонтировать локально RBD-образ хранилища (я так понимаю, что поскольку невозможно заранее точно определить нужный размер шары, мы можем создать RBD-девайс больше, чем по размеру физические диски, да? То есть, если у нас, например, есть 4 ТБ доступного пространства, можно сделать устройство под 20 ТБ?)  

И вот в чем вопрос: даже если мы смонтируем один и тот же RBD-устройство на всех нодах, как быть с высокодоступностью? Я хочу создать ресурс HA и прикрепить к нему этот LXC-файловый сервер. Чтобы он всегда работал и при падении одной ноды мог быстро переехать на другую.  

Но что насчёт точки монтирования, которую он использует для шаринга? Её, наверное, надо будет перемонтировать с правами на запись, если машина переедет, и интересно, не повлияет ли это на текущие передачи данных?  

Есть идеи по этому поводу?  

Возможно, вы скажете: поставь четвёртую машину, установи только Samba и шарь по iSCSI с CEPH. Но зачем так делать, если это маленькая домашняя среда, и, честно, я хочу разобраться в этом сам.  

Или может, есть другой способ сделать такую «всё в одном»? (И не говорите: купи NAS).  

Заранее спасибо за любые советы по этому интересному кейсу!
04.02.2018 14:17:00, twinsen.]]> http://proxmox.su/forum/messages/forum63/message349963/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349963/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Sun, 04 Feb 2018 14:17:00 +0300 Proxmox Виртуальная Среда Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я попробовал это сделать, но получил такую ошибку: rbd: ошибка при открытии пула по умолчанию 'rbd'. Убедитесь, что пул по умолчанию создан, или укажите другое имя пула. Код: root@virt1:~# more /etc/ceph/rbdmap  
# RbdDevice             Parameters  
#poolname/imagename     id=client,keyring=/etc/ceph/ceph.client.keyring  
root@virt1:~# more /etc/pve/storage.cfg  
dir: local  
       disable  
       path /var/lib/vz  
       content iso,vztmpl  
       maxfiles 1  
       shared 0  

lvmthin: local-lvm  
       disable  
       thinpool data  
       vgname pve  
       content rootdir,images  

nfs: ISOS  
       export /data/isos  
       path /mnt/pve/ISOS  
       server 192.168.102.2  
       content iso  
       maxfiles 1  
       options vers=3  

rbd: Data_vm  
       content images  
       krbd 0  
       pool Data  

rbd: Data2_vm  
       content images  
       krbd 0  
       pool Data2
23.11.2017 10:57:00, Magneto.]]> http://proxmox.su/forum/messages/forum63/message349962/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349962/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Thu, 23 Nov 2017 10:57:00 +0300 Proxmox Виртуальная Среда Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Обязательно монтируйте это в режиме RO на всех узлах, кроме одного, иначе могут случиться и действительно случаются ошибки. Если нужно писать с нескольких узлов, настройте NFS шаринг или установите cephfs (инструкции можно найти в других местах на форуме).
15.11.2017 21:47:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message349961/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349961/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Wed, 15 Nov 2017 21:47:00 +0300 Proxmox Виртуальная Среда Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо! Всё работает как по маслу.
15.11.2017 14:11:00, Bojan Pogacar.]]> http://proxmox.su/forum/messages/forum63/message349960/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349960/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Wed, 15 Nov 2017 14:11:00 +0300 Proxmox Виртуальная Среда Подключение пула Ceph для полного новичка Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! У меня есть 4 тестовых узла в кластере. Я успешно создал кластер Ceph, и он хорошо работает для хранения VM (ceph-vm). Создал ещё один пул (ceph-storage), чтобы монтировать его из VM для хранения файлов. Это возможно? Если да, то как его смонтировать?

Команда mount -t ceph 10.10.10.1:/ /mnt/ceph-storage -o name=admin,secret=BQDz/ehZBRmwFhAAhkpfVQ5/mL8NLJLLOScsaw== выдает ошибку:  
mount: /mnt/ceph-storage: невозможно смонтировать 10.10.10.1:/ только для чтения.

Пожалуйста, помогите, не могу найти решение в интернете. Спасибо!
26.10.2017 19:55:00, Bojan Pogacar.]]> http://proxmox.su/forum/messages/forum63/message349959/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka http://proxmox.su/forum/messages/forum63/message349959/80675-podklyuchenie-pula-ceph-dlya-polnogo-novichka Thu, 26 Oct 2017 19:55:00 +0300 Proxmox Виртуальная Среда