+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Понимание свободного места в Ceph, Proxmox Виртуальная Среда

Gert

Guest

02.09.2019 18:12:00

У меня есть кластер из 3 узлов, использующий Ceph, с следующей конфигурацией OSD: узел1: 3x 400GB SSD (465GB usable) 2x 4TB HDD (3.64TB usable) узел2: 3x 500GB SSD (465GB usable) 2x 4TB HDD (3.64TB usable) узел3: 3x 500GB SSD (465GB usable) 2x 3TB HDD (2.73TB usable) Я создал 2 пула на основе классов SSD и HDD с размером 3/2. ceph -df показывает следующее: Сырой ХРАНЕНИЕ: КЛАСС РАЗМЕР ДОСТУПНО ИСПОЛЬЗОВАНО СЫРОЕ ИСПОЛЬЗОВАНО % СЫРОГО ИСПОЛЬЗОВАНИЯ hdd 20 TiB 14 TiB 5.8 TiB 5.8 TiB 28.83 ssd 4.1 TiB 2.3 TiB 1.8 TiB 1.8 TiB 43.94 ВСЕГО 24 TiB 17 TiB 7.5 TiB 7.6 TiB 31.40 ПУЛЫ: ПУЛ ID ХРАНИТСЯ ОБЪЕКТЫ ИСПОЛЬЗОВАНО % ИСПОЛЬЗОВАНО МАКС ДОСТУПНО ceph-hdd 3 1.9 TiB 566.34k 5.8 TiB 32.89 3.9 TiB ceph-ssd 4 624 GiB 236.34k 1.8 TiB 50.86 589 GiB Глядя только на SSD-диски, 465GB x 9 дает 4185GB, что объясняет общий размер SSD 4.1TB, а % использования составляет 43.94%. Однако в пуле ceph-ssd % использования составляет 50.86%, и в GUI Proxmox он показывает, что использовано 75.61% для хранилища (1.79 TiB из 2.36 TiB). Почему есть разница в % использования? Также откуда взялась 2.36TB в GUI?

Gert

Guest

10.02.2020 10:01:00

Итак, интерфейс теперь согласен с использованием POOLS в ceph df "66.50% (1.05 TiB из 1.59 TiB)", однако я все еще не понимаю, почему общая емкость пула ceph-ssd составляет всего 1.58TB. Разве она не должна быть 1.8TB, как в РОЗИЧНОМ НОСИТЕЛЕ? (5.4 / 3 = 1.8) У меня сейчас 12x 500GB (465GB usable) на 3 узлах. РОЗИЧНЫЙ НОСИТЕЛЬ: КЛАСС РАЗМЕР ДОСТУПНО ИСПОЛЬЗОВАНО РОЗИЧНО ИСПОЛЬЗОВАНО %РОЗИЧНО ИСПОЛЬЗОВАНО hdd 22 TiB 15 TiB 7.2 TiB 7.2 TiB 32.86 ssd 5.4 TiB 2.8 TiB 2.7 TiB 2.7 TiB 49.31 ВСЕГО 27 TiB 17 TiB 9.8 TiB 9.9 TiB 36.15 ПУЛЫ: ПУЛ ID ХРАНИТСЯ ОБЪЕКТЫ ИСПОЛЬЗОВАНО %ИСПОЛЬЗОВАНО МАКС. ДОСТУПНО ceph-hdd 3 2.4 TiB 684.74k 7.2 TiB 35.31 4.4 TiB ceph-ssd 4 1.0 TiB 350.02k 2.7 TiB 62.46 548 GiB

Alwin

Guest

10.02.2020 10:49:00

Нет, не совсем. Нужно учитывать также распределение данных на каждом OSD. Пул остановит записи, когда один из OSD достигнет состояния 'osd full'. Поэтому первый OSD, который может достичь этого уровня заполнения, определит объем данных, который можно хранить в пуле.

Gert

Guest

10.02.2020 11:07:00

Я понял, спасибо за разъяснение. root@node1:~# ceph osd df | grep ssd 0 ssd 0.45409 1.00000 465 GiB 243 GiB 242 GiB 4.1 MiB 1.3 GiB 222 GiB 52.22 1.44 68 up 1 ssd 0.45409 1.00000 465 GiB 191 GiB 189 GiB 3.2 MiB 1.1 GiB 274 GiB 40.99 1.13 53 up 2 ssd 0.45409 1.00000 465 GiB 218 GiB 217 GiB 3.7 MiB 1.2 GiB 247 GiB 46.87 1.29 61 up 6 ssd 0.45409 1.00000 465 GiB 279 GiB 278 GiB 4.6 MiB 1.1 GiB 186 GiB 60.00 1.66 74 up 7 ssd 0.45409 1.00000 465 GiB 216 GiB 215 GiB 3.4 MiB 1021 MiB 249 GiB 46.44 1.28 57 up 15 ssd 0.45409 1.00000 465 GiB 227 GiB 226 GiB 4.1 MiB 1.3 GiB 238 GiB 48.92 1.35 69 up 16 ssd 0.45409 1.00000 465 GiB 226 GiB 225 GiB 4.1 MiB 1.3 GiB 239 GiB 48.57 1.34 69 up 17 ssd 0.45409 1.00000 465 GiB 200 GiB 199 GiB 3.7 MiB 1.2 GiB 265 GiB 42.98 1.19 61 up 5 ssd 0.45409 1.00000 465 GiB 294 GiB 293 GiB 4.7 MiB 1.2 GiB 171 GiB 63.26 1.75 78 up 8 ssd 0.45409 1.00000 465 GiB 178 GiB 177 GiB 3.0 MiB 1021 MiB 287 GiB 38.22 1.05 47 up 9 ssd 0.45409 1.00000 465 GiB 306 GiB 305 GiB 5.0 MiB 1.3 GiB 159 GiB 65.88 1.82 81 up 10 ssd 0.45409 1.00000 465 GiB 189 GiB 188 GiB 3.1 MiB 1021 MiB 276 GiB 40.72 1.12 50 up

Alwin Guest	#5 0 10.02.2020 11:41:00 Распределение PG кажется неравномерным. Лучше проверь еще раз количество своих PG. https://ceph.io/pgcalc/

Gert

Guest

10.02.2020 11:57:00

Я считаю, что мой счет PG в порядке. Я запустил балансировщик в режиме unmap, и емкость увеличилась с 1.59 ТБ до 1.8 ТБ. Он все еще занят, но почти завершил работу, и теперь выглядит намного лучше: root@node1:~# ceph osd df | grep ssd 0 ssd 0.45409 1.00000 465 GiB 229 GiB 228 GiB 4.1 MiB 1.3 GiB 236 GiB 49.23 1.35 64 up 1 ssd 0.45409 1.00000 465 GiB 238 GiB 237 GiB 4.0 MiB 1.2 GiB 227 GiB 51.17 1.40 64 up 2 ssd 0.45409 1.00000 465 GiB 231 GiB 230 GiB 3.9 MiB 1.2 GiB 234 GiB 49.67 1.36 64 up 6 ssd 0.45409 1.00000 465 GiB 242 GiB 241 GiB 4.6 MiB 1.4 GiB 223 GiB 52.15 1.43 64 up 7 ssd 0.45409 1.00000 465 GiB 246 GiB 245 GiB 3.9 MiB 1.1 GiB 219 GiB 52.98 1.45 64 up 15 ssd 0.45409 1.00000 465 GiB 212 GiB 211 GiB 4.3 MiB 1.2 GiB 253 GiB 45.58 1.25 64 up 16 ssd 0.45409 1.00000 465 GiB 210 GiB 209 GiB 4.3 MiB 1.6 GiB 255 GiB 45.22 1.24 64 up 17 ssd 0.45409 1.00000 465 GiB 213 GiB 212 GiB 3.9 MiB 1.1 GiB 252 GiB 45.83 1.26 64 up 5 ssd 0.45409 1.00000 465 GiB 241 GiB 240 GiB 4.5 MiB 1.1 GiB 224 GiB 51.85 1.42 64 up 8 ssd 0.45409 1.00000 465 GiB 251 GiB 250 GiB 3.9 MiB 1020 MiB 214 GiB 54.05 1.48 64 up 9 ssd 0.45409 1.00000 465 GiB 242 GiB 241 GiB 4.5 MiB 1.1 GiB 223 GiB 52.05 1.43 64 up 10 ssd 0.45409 1.00000 465 GiB 250 GiB 249 GiB 3.9 MiB 1.0 GiB 215 GiB 53.82 1.48 64 up

Alwin Guest	#7 0 10.02.2020 14:37:00 Целевая норма PG для OSD составляет 100. Для OSD будет выбрана следующая степень двойки. Да, теперь это выглядит гораздо лучше.

Gert Guest	#8 0 10.02.2020 17:03:00 Понимаю, ты прав. После добавления дополнительных 4 OSD мне нужно увеличить количество PG с 256 до 512.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры