+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Добавить WAL/DB к CEPH OSD после установки., Proxmox Виртуальная Среда

Gilberto Ferreira Guest	#1 0 30.04.2024 20:06:00 Привет! У меня есть Proxmox CEPH-кластер из 3 серверов, у каждого по 4 SSD DC-диска. Возможно ли добавить отдельные NVMe для WAL/DB уже после того, как всё заработает, скажем, через пару недель? Спасибо!

gurubert Guest	#2 0 02.05.2024 08:53:00 Не в сети. Приходится переразвертывать каждый OSD, а это значит перемещение данных. Обычно это можно сделать на каждом хосте по отдельности, не теряя при этом излишней избыточности.

mitcHELLspawn Guest	#3 0 12.07.2024 20:25:00 На самом деле это неправда. Мы разработали скрипт в 45Drives, который поможет вам сделать это, если ваши OSD используют LVM. https://scripts.45drives.com/add-db-to-osd.sh

Gilberto Ferreira Guest	#4 0 12.07.2024 20:31:00 Спасибо. Посмотрю.

mitcHELLspawn Guest	#5 0 30.07.2024 15:42:00 Кстати, забыл упомянуть – теперь ceph-volume тоже умеет это. https://docs.ceph.com/en/latest/ceph-volume/lvm/migrate/

Gilberto Ferreira

Guest

30.07.2024 22:07:00

Основываясь на этих документах от Ceph, я использовал следующее:
- Сначала установил OSD в режим noout: `ceph osd set-group noout osd`
- Затем остановил его: `systemctl stop ceph-osd@0`
- Создал LVM: `ceph-volume lvm create --data /dev/sdc`
- Проверил созданный LVM: `ceph-volume lvm list`
- Создал новую базу данных: `ceph-volume lvm new-db --osd-id 0 --osd-fsid d1a7e434-53b0-4454-9060-851ae8ebe785 --target ceph-f8683677-0651-4d19-8e19-83aff7c1cf07/osd-block-189361f7-7b82-42c0-bbac-833dd5b2a545`
Всё работает отлично. Теперь сделаю то же самое для new-wal:
- `ceph-volume lvm create --data /dev/sdd`
- `ceph-volume lvm list`
- `ceph-volume lvm new-wal --osd-id 0 --osd-fsid d1a7e434-53b0-4454-9060-851ae8ebe785 --target ceph-e8798be2-c799-4c31-b067-`
После этого получил:

Вроде всё в порядке, но после запуска OSD и снятия режима noout я вижу:
`HEALTH_WARN: HEALTH_WARN: 1 OSD(s) experiencing BlueFS spillover osd.0 spilled over 768 KiB metadata from 'db' device (22 MiB used of 280 GiB) to slow device`
Поскольку это просто ЛАБ и я использую Proxmox поверх Proxmox с nested_virt, я предполагаю, что это связано с устройствами, которые практически фейковые или псевдо-устройства. В реальном сценарии с реальными устройствами этого не произойдёт, я думаю.
На этом всё.

Gilberto Ferreira Guest	#7 0 31.07.2024 15:37:00 На самом деле, я нашел лучший способ: https://docs.clyso.com/blog/ceph-volume-create-wal-db-on-separate-device-for-existing-osd/

Gilberto Ferreira

Guest

31.07.2024 19:05:00

Окей. Оказывается, мне пришлось делать это в два этапа: 1 - чтобы создать отдельную БД и добавить её в OSD, я использовал скрипт, предоставленный @mitcHELLspawn. Большое спасибо! Так я и сделал: vgcreate cephdb /dev/sdc add-db-to-osd.sh -b 280G -d /dev/sdc -o 0 Работает как по маслу. 2 - чтобы создать отдельную WAL и добавить её в OSD, я сделал следующее: - выставил OSD в режим noout - остановил osd-0 - создал LVM группу томов с именем cephwal: vgcreate cephwal /dev/sdd - создал LVM логический том с именем cephwal1: lvcreate -l 100%FREE -n cephwal1 cephwal - создал новую WAL: ceph-volume lvm new-wal --osd-id 0 --osd-fsid OSD-FSID --target cephwal/cephwal1 И всё! Больше никаких HEALTH_WARN: 1 OSD(s) experiencing BlueFS spillover!!! Большое спасибо, ребята, за советы.

jaynguyen Guest	#9 0 24.04.2025 09:01:00 Что будет, если диск с БД и диск WAL почти переполнены? Спасибо.

mitcHELLspawn Guest	#10 0 24.04.2025 15:27:00 У тебя возникнет такая штука, как blueFS spillover. База данных/WAL начнёт писать на жёсткий диск.

jaynguyen Guest	#11 0 28.04.2025 09:41:00 Спасибо, я новичок в Proxmox VE. Скажите, есть ли способ этого избежать? Я просто хочу ограничить диски БД и WAL.

gurubert Guest	#12 0 28.04.2025 18:12:00 Этого избежать нельзя. Если Ceph требует больше места для RocksDB, он берёт его с блочного устройства.

jaynguyen Guest	#13 0 05.05.2025 05:22:00 Спасибо. Что мне делать в этой ситуации? Добавить ещё жёсткий диск и расширить раздел или заменить на новый? Или просто ограничить размер БД при первичной настройке (3 x 1.92ТБ для OSD)? Извините, если у меня какие-то глупые вопросы

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры