Подключение пула Ceph для полного новичка, Proxmox Виртуальная Среда
Bojan Pogacar
Guest
0
26.10.2017 19:55:00
Привет! У меня есть 4 тестовых узла в кластере. Я успешно создал кластер Ceph, и он хорошо работает для хранения VM (ceph-vm). Создал ещё один пул (ceph-storage), чтобы монтировать его из VM для хранения файлов. Это возможно? Если да, то как его смонтировать?
Команда mount -t ceph 10.10.10.1:/ /mnt/ceph-storage -o name=admin,secret=BQDz/ehZBRmwFhAAhkpfVQ5/mL8NLJLLOScsaw== выдает ошибку: mount: /mnt/ceph-storage: невозможно смонтировать 10.10.10.1:/ только для чтения.
Пожалуйста, помогите, не могу найти решение в интернете. Спасибо!
Bojan Pogacar
Guest
0
15.11.2017 14:11:00
Спасибо! Всё работает как по маслу.
alexskysilk
Guest
0
15.11.2017 21:47:00
Обязательно монтируйте это в режиме RO на всех узлах, кроме одного, иначе могут случиться и действительно случаются ошибки. Если нужно писать с нескольких узлов, настройте NFS шаринг или установите cephfs (инструкции можно найти в других местах на форуме).
Magneto
Guest
0
23.11.2017 10:57:00
Привет, я попробовал это сделать, но получил такую ошибку: rbd: ошибка при открытии пула по умолчанию 'rbd'. Убедитесь, что пул по умолчанию создан, или укажите другое имя пула. Код: root@virt1:~# more /etc/ceph/rbdmap # RbdDevice Parameters #poolname/imagename id=client,keyring=/etc/ceph/ceph.client.keyring root@virt1:~# more /etc/pve/storage.cfg dir: local disable path /var/lib/vz content iso,vztmpl maxfiles 1 shared 0
lvmthin: local-lvm disable thinpool data vgname pve content rootdir,images
nfs: ISOS export /data/isos path /mnt/pve/ISOS server 192.168.102.2 content iso maxfiles 1 options vers=3
rbd: Data_vm content images krbd 0 pool Data
rbd: Data2_vm content images krbd 0 pool Data2
twinsen
Guest
0
04.02.2018 14:17:00
Привет, ребята! Хочу сделать небольшой файловый сервер для дома с преимуществами CEPH и Proxmox. Чтобы понять, как все работает, я настроил это в VMware Workstation просто для теста и обучения. Что получилось: - рабочий кластер Proxmox - рабочий кластер CEPH - 6 OSD подняты и работают — маленькие, так как это только тесты - создан пул для всего нужного (контейнеры, образы)
Сейчас качаю turnkey-fileserver — LXC-контейнер. Он использует Samba и другие способы шаринга для обмена данными. Но ему нужна локально смонтированная папка, которую потом будут шарить. По инструкциям выше в этой теме, мне надо смонтировать локально RBD-образ хранилища (я так понимаю, что поскольку невозможно заранее точно определить нужный размер шары, мы можем создать RBD-девайс больше, чем по размеру физические диски, да? То есть, если у нас, например, есть 4 ТБ доступного пространства, можно сделать устройство под 20 ТБ?)
И вот в чем вопрос: даже если мы смонтируем один и тот же RBD-устройство на всех нодах, как быть с высокодоступностью? Я хочу создать ресурс HA и прикрепить к нему этот LXC-файловый сервер. Чтобы он всегда работал и при падении одной ноды мог быстро переехать на другую.
Но что насчёт точки монтирования, которую он использует для шаринга? Её, наверное, надо будет перемонтировать с правами на запись, если машина переедет, и интересно, не повлияет ли это на текущие передачи данных?
Есть идеи по этому поводу?
Возможно, вы скажете: поставь четвёртую машину, установи только Samba и шарь по iSCSI с CEPH. Но зачем так делать, если это маленькая домашняя среда, и, честно, я хочу разобраться в этом сам.
Или может, есть другой способ сделать такую «всё в одном»? (И не говорите: купи NAS).
Заранее спасибо за любые советы по этому интересному кейсу!
fvanlint
Guest
0
05.02.2018 10:49:00
Привет, Twinsen! Я немного в такой же ситуации, как и ты. Одно, что я нашёл и что может тебя заинтересовать — это то, что cephFS можно расшарить через SMB/CIFS. Если сделать это на всех твоих нодах и использовать DNS-балансировку нагрузки или, возможно, виртуальный IP (но как это сделать — я ещё не знаю), то теоретически можно сделать вот что: SMB-клиент подключается к smb://smbceph.example.lan, который балансирует нагрузку между 192.168.1.101, 192.168.1.102 и 192.168.1.103. Содержимое CephFS одинаково на каждой ноде, потому что это CEPH. Если одна нода упадёт, балансировка нагрузки обеспечит плавное переключение клиента на следующую ноду. Это пример основан на моём текущем понимании, которое может быть неполным. Вполне возможно, что я и вовсе ошибаюсь. Если это так — скажи, пожалуйста. Подробнее про использование SMB/CIFS с cephFS можно поискать по запросу "vfs_ceph.8". (Я бы дал прямую ссылку, но как новый пользователь на этом форуме я не могу публиковать внешние ссылки). Я сам ещё в процессе изучения, и пока не знаю, как это всё реализовать. Но, может, мы поможем друг другу (и сообществу), разберёмся вместе!
Правка: Я поискал и выяснил, что ceph.so, который входит в состав vfs_ceph, отсутствует в версии samba, которая идёт с Debian Stretch, зато есть в Buster. Значит, нам нужно импортировать .deb пакет. Я нашёл последнюю версию, которая должна включать ceph.so: packages.debian.org/sid/amd64/samba/download Её надо установить командой # dpkg -i samba_4.7.4+dfsg-1_amd64.deb Возможно, потом потребуется чистка через # apt-get install -f
Дальше следующие шаги: 1. Запустить cephFS — 2. Смонтировать cephFS с помощью ceph-fuse 3. Поделиться монтированием cephFS через SMB vfs_ceph
