Аспро: ЛайтШоп [тема: Ceph OSD – расширить текущие OSD или добавить новые OSD.]

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Tue, 01 Apr 2025 06:59:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, это вполне реально: я ранее использовал https://stackoverflow.com/questions/68884564/how-to-expand-ceph-osd-on-lvm-volume. Bash: изменил размер OSD объемом 680ГБ на SSD диске на 800ГБ на pve2. https://stackoverflow.com/questions/68884564/how-to-expand-ceph-osd-on-lvm-volume
LV расширить до остального свободного места на PV, затем OSD offline, затем
ceph-bluestore-tool bluefs-bdev-expand --path <путь к OSD>
По умолчанию <путь к OSD> — /var/lib/ceph/osd/ceph-12345/
Игнорируйте сообщение об ошибке:
2022-08-28T21:00:43.313+0000 7f59c45ad700 -1 bluestore(/var/lib/ceph/osd/ceph-) _read_bdev_label не удалось прочитать из /var/lib/ceph/osd/ceph-: (21) Это каталог
2022-08-28T21:00:43.313+0000 7f59c45ad700 -1 bluestore(/var/lib/ceph/osd/ceph-) не удалось прочитать метку для /var/lib/ceph/osd/ceph-: (21) Это каталог
https://github.com/rook/rook/issues/2997
Затем OSD online. Свободное место будет указано неверно согласно https://tracker.ceph.com/issues/63858, поэтому kill -9 OSD и перезапустите. Для OSD с устройством базы данных, которое мне пришлось расширить, я сделал так: https://k0ste.ru/how-to-expand-bluefs-db-device-of-ceph-bluestore-osd.html https://documentation.suse.com/fr-fr/ses/7.1/html/ses-all/bp-troubleshooting-status.html Bash: # lvextend -L+2G /dev/ceph-dbwal/ceph-slowssd-dbwal
# ceph tell osd.5 compact
# systemctl stop ceph-osd@5.service
# systemctl status ceph-osd@5.service
# ceph-bluestore-tool bluefs-bdev-expand --path /var/lib/ceph/osd/ceph-5
# systemctl start ceph-osd@5.service
# ceph tell osd.5 compact (Эм, я думаю, вторая `ceph tell compact` была из того раза, когда я все еще сталкивался с "проливом базы данных на медленное устройство", и затем я обнаружил, что расширил не то устройство базы данных). К счастью, на этот раз у меня были записи из прошлых раз, потому что этот старый вопрос был первым, что я нашел, чтобы повторить упражнение!
01.04.2025 06:59:00, tconnors.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 20:05:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отличный ответ, спасибо за информацию!
08.08.2024 20:05:00, beav.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 19:36:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Если узкое место — ваш процессор, а не диск, наличие более одного OSD на диск может помочь получить больше операций ввода/вывода в секунду. Это нужно протестировать, так как некоторые диски просто имеют однопоточный контроллер и вообще не выиграют от этого. Это также означает использование большего количества оперативной памяти для работы OSD-процессов, более сложный в обслуживании Ceph-кластер, так как приходится отслеживать больше дисков/разделов для свободного места и балансировать. ИМХО, если вам действительно не нужны эти дополнительные операции ввода/вывода и вы их не протестировали, то это не стоит того. В вашей ситуации добавление второго раздела — самый безопасный способ: вы всегда сохраняете 3 реплики ваших данных. В то время как удаление OSD и добавление нового 2ТБ подразумевает, что у вас будет "всего" 2 копии данных на короткое время, пока реплики не будут воссозданы в новом OSD.
08.08.2024 19:36:00, VictorSTS.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 13:14:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
К сожалению, в этой конфигурации я могу использовать только один слот NVME. Да, я уже заменил на 2ТБ. Скорее всего, я пойду по методу, который вы описали, но есть ли преимущества от двух OSD на хост вместо одного в кластере Proxmox? Например, есть ли прирост производительности от дополнительных шпинделей, как если бы вы добавляли физические диски в хранилище? Спасибо за ответ!!!
08.08.2024 13:14:00, beav.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 08:33:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Зачем всё это делать… Если используете пул репликации по умолчанию с размером 3/2, просто добавьте по одному 2ТБ диску к каждому из трех серверов. Добавьте 3 OSD и дождитесь балансировки. Затем удалите 1ТБ OSD с одного узла (выключите, удалите, уничтожьте) по одному, ожидая, пока кластер отбалансируется. Если вы уже заменили диски на 2ТБ (как я понимаю), уничтожьте текущий OSD и пересоздайте его, используя весь диск. Дождитесь завершения балансировки. А потом сделайте то же самое для остальных двух, по одному, и ожидайте завершения балансировки.
08.08.2024 08:33:00, VictorSTS.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 08:25:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, насколько я знаю, это невозможно.
08.08.2024 08:25:00, gurubert.

Ceph OSD – расширить текущие OSD или добавить новые OSD.

Thu, 08 Aug 2024 02:46:00 +0300

Ceph OSD – расширить текущие OSD или добавить новые OSD. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Существующий кластер Proxmox состоит из 3 узлов с 1ТБ NVME-накопителями. Недавно клонировали и расширили, заменив диски на 2ТБ. Таблица разделов была клонирована из источника, и на каждом узле есть раздел на 750ГБ, который служит одним OSD для Ceph-кластера. Вопрос в следующем: 1. Расширить существующий раздел на 750ГБ, сохраняя (1x) OSD на хост, или 2. Создать новый, дополнительный раздел для дополнительного OSD — получится (2x) OSD на хост? Какие плюсы и минусы у каждого варианта? Для #1, Ceph автоматически распознает дополнительное пространство, когда я изменю размер раздела? Заранее спасибо за любые советы!
08.08.2024 02:46:00, beav.