+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph OSD – расширить текущие OSD или добавить новые OSD., Proxmox Виртуальная Среда

beav

Guest

08.08.2024 02:46:00

Привет! Существующий кластер Proxmox состоит из 3 узлов с 1ТБ NVME-накопителями. Недавно клонировали и расширили, заменив диски на 2ТБ. Таблица разделов была клонирована из источника, и на каждом узле есть раздел на 750ГБ, который служит одним OSD для Ceph-кластера. Вопрос в следующем: 1. Расширить существующий раздел на 750ГБ, сохраняя (1x) OSD на хост, или 2. Создать новый, дополнительный раздел для дополнительного OSD — получится (2x) OSD на хост? Какие плюсы и минусы у каждого варианта? Для #1, Ceph автоматически распознает дополнительное пространство, когда я изменю размер раздела? Заранее спасибо за любые советы!

gurubert Guest	#2 0 08.08.2024 08:25:00 Нет, насколько я знаю, это невозможно.

VictorSTS

Guest

08.08.2024 08:33:00

Зачем всё это делать… Если используете пул репликации по умолчанию с размером 3/2, просто добавьте по одному 2ТБ диску к каждому из трех серверов. Добавьте 3 OSD и дождитесь балансировки. Затем удалите 1ТБ OSD с одного узла (выключите, удалите, уничтожьте) по одному, ожидая, пока кластер отбалансируется. Если вы уже заменили диски на 2ТБ (как я понимаю), уничтожьте текущий OSD и пересоздайте его, используя весь диск. Дождитесь завершения балансировки. А потом сделайте то же самое для остальных двух, по одному, и ожидайте завершения балансировки.

beav

Guest

08.08.2024 13:14:00

К сожалению, в этой конфигурации я могу использовать только один слот NVME. Да, я уже заменил на 2ТБ. Скорее всего, я пойду по методу, который вы описали, но есть ли преимущества от двух OSD на хост вместо одного в кластере Proxmox? Например, есть ли прирост производительности от дополнительных шпинделей, как если бы вы добавляли физические диски в хранилище? Спасибо за ответ!!!

VictorSTS

Guest

08.08.2024 19:36:00

Если узкое место — ваш процессор, а не диск, наличие более одного OSD на диск может помочь получить больше операций ввода/вывода в секунду. Это нужно протестировать, так как некоторые диски просто имеют однопоточный контроллер и вообще не выиграют от этого. Это также означает использование большего количества оперативной памяти для работы OSD-процессов, более сложный в обслуживании Ceph-кластер, так как приходится отслеживать больше дисков/разделов для свободного места и балансировать. ИМХО, если вам действительно не нужны эти дополнительные операции ввода/вывода и вы их не протестировали, то это не стоит того. В вашей ситуации добавление второго раздела — самый безопасный способ: вы всегда сохраняете 3 реплики ваших данных. В то время как удаление OSD и добавление нового 2ТБ подразумевает, что у вас будет "всего" 2 копии данных на короткое время, пока реплики не будут воссозданы в новом OSD.

beav Guest	#6 0 08.08.2024 20:05:00 Отличный ответ, спасибо за информацию!

tconnors Guest	#7 0 01.04.2025 06:59:00 Ну, это вполне реально: я ранее использовал https://stackoverflow.com/questions/68884564/how-to-expand-ceph-osd-on-lvm-volume. Bash: изменил размер OSD объемом 680ГБ на SSD диске на 800ГБ на pve2. https://stackoverflow.com/questions/68884564/how-to-expand-ceph-osd-on-lvm-volume LV расширить до остального свободного места на PV, затем OSD offline, затем ceph-bluestore-tool bluefs-bdev-expand --path <путь к OSD> По умолчанию <путь к OSD> — /var/lib/ceph/osd/ceph-12345/ Игнорируйте сообщение об ошибке: 2022-08-28T21:00:43.313+0000 7f59c45ad700 -1 bluestore(/var/lib/ceph/osd/ceph-<ID>) _read_bdev_label не удалось прочитать из /var/lib/ceph/osd/ceph-<ID>: (21) Это каталог 2022-08-28T21:00:43.313+0000 7f59c45ad700 -1 bluestore(/var/lib/ceph/osd/ceph-<ID>) не удалось прочитать метку для /var/lib/ceph/osd/ceph-<ID>: (21) Это каталог https://github.com/rook/rook/issues/2997 Затем OSD online. Свободное место будет указано неверно согласно https://tracker.ceph.com/issues/63858, поэтому kill -9 OSD и перезапустите. Для OSD с устройством базы данных, которое мне пришлось расширить, я сделал так: https://k0ste.ru/how-to-expand-bluefs-db-device-of-ceph-bluestore-osd.html https://documentation.suse.com/fr-fr/ses/7.1/html/ses-all/bp-troubleshooting-status.html Bash: # lvextend -L+2G /dev/ceph-dbwal/ceph-slowssd-dbwal # ceph tell osd.5 compact # systemctl stop ceph-osd@5.service # systemctl status ceph-osd@5.service # ceph-bluestore-tool bluefs-bdev-expand --path /var/lib/ceph/osd/ceph-5 # systemctl start ceph-osd@5.service # ceph tell osd.5 compact (Эм, я думаю, вторая `ceph tell compact` была из того раза, когда я все еще сталкивался с "проливом базы данных на медленное устройство", и затем я обнаружил, что расширил не то устройство базы данных). К счастью, на этот раз у меня были записи из прошлых раз, потому что этот старый вопрос был первым, что я нашел, чтобы повторить упражнение!

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры