+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Ceph: количество групп размещения для 5+ пулов на 3 хостах x 1 OSD., Proxmox Виртуальная Среда

galeksandrp

Guest

19.06.2025 22:58:00

Привет. МОЯ КОНФИГАЦИЯ: 3 хоста с PVE 8.4.1 и ceph reef, выделенная сеть ceph 10gb ethernet. На каждом хосте по одному OSD, который представляет собой 8ТБ CMR диск. ЧТО СДЕЛАЛ: Создал 5 пулов с настройками по умолчанию. ЧТО НУЖНО СДЕЛАТЬ: Создать еще 15 пулов. ПРОБЛЕМА: Ceph начал кричать "слишком много PGs на OSD". ПОЧЕМУ ВОЗНИКЛА ПРОБЛЕМА: Насколько я понял, placement group — это поток, который вычисляет место назначения объекта ceph. Это вычисление выполняется независимо для каждого пула. Это значит, что 128 pg потоков вполне достаточно для одного пула на 3 OSD. Но для 20 пулов получится 2560 placement group на OSD. Ceph не будет рад. ВОПРОС: Могу ли я подавить это предупреждение? В любой момент времени только один пул будет иметь записи. Значит ли это, что из 2560 потенциальных pg потоков будет запущено только 128?

gurubert Guest	#2 0 20.06.2025 13:03:00 Зачем тебе столько пулов для такого маленького кластера?

galeksandrp

Guest

20.06.2025 20:59:00

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ ОБ АППАРАТНОМ ОБЕСПЕЧЕНИИ: У каждого хоста есть OSD с 1 ТБ enterprise U.2 NVMe SSD. На этом SSD располагаются OSD-ы класса, а также отдельная VM с диском базы данных на 300 ГБ. Эта VM работает 24x7.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ О ПРОГРАММНОМ ОБЕСПЕЧЕНИИ: База данных настроена как кольцевой буфер, поэтому хранит примерно 1,5 месяца данных. Это жесткое ограничение. Каждый месяц скрипт копирует файлы базы данных в целевой пул, имеющий название "month".

ЗАДАЧА, КОТОРУЮ Я ПЫТАЮСЬ РЕШИТЬ: Время от времени мне нужно обеспечить быстрый произвольный доступ для чтения базы данных за X месяцев назад. Если у меня 20 пулов, это просто – нужно изменить класс пула с HDD на HDD+SSD и получить надежное ребалансировку.

gurubert Guest	#4 0 20.06.2025 21:26:00 Ты знаешь, что в Proxmox есть живая миграция хранилища?

galeksandrp Guest	#5 0 20.06.2025 21:49:00 Ладно, всё будет как: ШАГ 1: Перенести 202412.raw с HDD POOL на NVME POOL, источник не удалять. ШАГ 2: Поработать с базой данных. ШАГ 3: Удалить источник с HDD POOL. ШАГ 4: Перенести обратно 202412.raw с NVME POOL на HDD POOL, удалить источник. Выглядит логично, попробую на следующей неделе.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры