http://proxmox.su Новое в теме Понимание свободного места в Ceph форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Tue, 28 Apr 2026 05:36:55 +0300 Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Понимаю, ты прав. После добавления дополнительных 4 OSD мне нужно увеличить количество PG с 256 до 512.
10.02.2020 17:03:00, Gert.]]> http://proxmox.su/forum/messages/forum63/message344928/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344928/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 17:03:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Целевая норма PG для OSD составляет 100. Для OSD будет выбрана следующая степень двойки. Да, теперь это выглядит гораздо лучше.
10.02.2020 14:37:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message344927/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344927/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 14:37:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я считаю, что мой счет PG в порядке. Я запустил балансировщик в режиме unmap, и емкость увеличилась с 1.59 ТБ до 1.8 ТБ. Он все еще занят, но почти завершил работу, и теперь выглядит намного лучше: root@node1:~# ceph osd df | grep ssd 0 ssd 0.45409 1.00000 465 GiB 229 GiB 228 GiB 4.1 MiB 1.3 GiB 236 GiB 49.23 1.35 64 up 1 ssd 0.45409 1.00000 465 GiB 238 GiB 237 GiB 4.0 MiB 1.2 GiB 227 GiB 51.17 1.40 64 up 2 ssd 0.45409 1.00000 465 GiB 231 GiB 230 GiB 3.9 MiB 1.2 GiB 234 GiB 49.67 1.36 64 up 6 ssd 0.45409 1.00000 465 GiB 242 GiB 241 GiB 4.6 MiB 1.4 GiB 223 GiB 52.15 1.43 64 up 7 ssd 0.45409 1.00000 465 GiB 246 GiB 245 GiB 3.9 MiB 1.1 GiB 219 GiB 52.98 1.45 64 up 15 ssd 0.45409 1.00000 465 GiB 212 GiB 211 GiB 4.3 MiB 1.2 GiB 253 GiB 45.58 1.25 64 up 16 ssd 0.45409 1.00000 465 GiB 210 GiB 209 GiB 4.3 MiB 1.6 GiB 255 GiB 45.22 1.24 64 up 17 ssd 0.45409 1.00000 465 GiB 213 GiB 212 GiB 3.9 MiB 1.1 GiB 252 GiB 45.83 1.26 64 up 5 ssd 0.45409 1.00000 465 GiB 241 GiB 240 GiB 4.5 MiB 1.1 GiB 224 GiB 51.85 1.42 64 up 8 ssd 0.45409 1.00000 465 GiB 251 GiB 250 GiB 3.9 MiB 1020 MiB 214 GiB 54.05 1.48 64 up 9 ssd 0.45409 1.00000 465 GiB 242 GiB 241 GiB 4.5 MiB 1.1 GiB 223 GiB 52.05 1.43 64 up 10 ssd 0.45409 1.00000 465 GiB 250 GiB 249 GiB 3.9 MiB 1.0 GiB 215 GiB 53.82 1.48 64 up
10.02.2020 11:57:00, Gert.]]> http://proxmox.su/forum/messages/forum63/message344926/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344926/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 11:57:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Распределение PG кажется неравномерным. Лучше проверь еще раз количество своих PG. https://ceph.io/pgcalc/
10.02.2020 11:41:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message344925/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344925/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 11:41:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я понял, спасибо за разъяснение. root@node1:~# ceph osd df | grep ssd 0 ssd 0.45409  1.00000 465 GiB 243 GiB 242 GiB 4.1 MiB  1.3 GiB 222 GiB 52.22 1.44  68 up 1 ssd 0.45409  1.00000 465 GiB 191 GiB 189 GiB 3.2 MiB  1.1 GiB 274 GiB 40.99 1.13  53 up 2 ssd 0.45409  1.00000 465 GiB 218 GiB 217 GiB 3.7 MiB  1.2 GiB 247 GiB 46.87 1.29  61 up 6 ssd 0.45409  1.00000 465 GiB 279 GiB 278 GiB 4.6 MiB  1.1 GiB 186 GiB 60.00 1.66  74 up 7 ssd 0.45409  1.00000 465 GiB 216 GiB 215 GiB 3.4 MiB 1021 MiB 249 GiB 46.44 1.28  57 up 15 ssd 0.45409  1.00000 465 GiB 227 GiB 226 GiB 4.1 MiB  1.3 GiB 238 GiB 48.92 1.35  69 up 16 ssd 0.45409  1.00000 465 GiB 226 GiB 225 GiB 4.1 MiB  1.3 GiB 239 GiB 48.57 1.34  69 up 17 ssd 0.45409  1.00000 465 GiB 200 GiB 199 GiB 3.7 MiB  1.2 GiB 265 GiB 42.98 1.19  61 up 5 ssd 0.45409  1.00000 465 GiB 294 GiB 293 GiB 4.7 MiB  1.2 GiB 171 GiB 63.26 1.75  78 up 8 ssd 0.45409  1.00000 465 GiB 178 GiB 177 GiB 3.0 MiB 1021 MiB 287 GiB 38.22 1.05  47 up 9 ssd 0.45409  1.00000 465 GiB 306 GiB 305 GiB 5.0 MiB  1.3 GiB 159 GiB 65.88 1.82  81 up 10 ssd 0.45409  1.00000 465 GiB 189 GiB 188 GiB 3.1 MiB 1021 MiB 276 GiB 40.72 1.12  50 up
10.02.2020 11:07:00, Gert.]]> http://proxmox.su/forum/messages/forum63/message344924/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344924/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 11:07:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Нет, не совсем. Нужно учитывать также распределение данных на каждом OSD. Пул остановит записи, когда один из OSD достигнет состояния 'osd full'. Поэтому первый OSD, который может достичь этого уровня заполнения, определит объем данных, который можно хранить в пуле.
10.02.2020 10:49:00, Alwin.]]> http://proxmox.su/forum/messages/forum63/message344923/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344923/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 10:49:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Итак, интерфейс теперь согласен с использованием POOLS в ceph df "66.50% (1.05 TiB из 1.59 TiB)", однако я все еще не понимаю, почему общая емкость пула ceph-ssd составляет всего 1.58TB. Разве она не должна быть 1.8TB, как в РОЗИЧНОМ НОСИТЕЛЕ? (5.4 / 3 = 1.8) У меня сейчас 12x 500GB (465GB usable) на 3 узлах. РОЗИЧНЫЙ НОСИТЕЛЬ: КЛАСС     РАЗМЕР        ДОСТУПНО       ИСПОЛЬЗОВАНО       РОЗИЧНО ИСПОЛЬЗОВАНО     %РОЗИЧНО ИСПОЛЬЗОВАНО hdd        22 TiB      15 TiB     7.2 TiB      7.2 TiB         32.86 ssd       5.4 TiB     2.8 TiB     2.7 TiB      2.7 TiB         49.31 ВСЕГО      27 TiB      17 TiB     9.8 TiB      9.9 TiB         36.15 ПУЛЫ: ПУЛ         ID     ХРАНИТСЯ      ОБЪЕКТЫ     ИСПОЛЬЗОВАНО        %ИСПОЛЬЗОВАНО     МАКС. ДОСТУПНО ceph-hdd      3     2.4 TiB     684.74k     7.2 TiB     35.31       4.4 TiB ceph-ssd      4     1.0 TiB     350.02k     2.7 TiB     62.46       548 GiB
10.02.2020 10:01:00, Gert.]]> http://proxmox.su/forum/messages/forum63/message344922/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344922/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 10 Feb 2020 10:01:00 +0300 Proxmox Виртуальная Среда Понимание свободного места в Ceph Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня есть кластер из 3 узлов, использующий Ceph, с следующей конфигурацией OSD: узел1: 3x 400GB SSD (465GB usable) 2x 4TB HDD (3.64TB usable) узел2: 3x 500GB SSD (465GB usable) 2x 4TB HDD (3.64TB usable) узел3: 3x 500GB SSD (465GB usable) 2x 3TB HDD (2.73TB usable) Я создал 2 пула на основе классов SSD и HDD с размером 3/2. ceph -df показывает следующее: Сырой ХРАНЕНИЕ: КЛАСС     РАЗМЕР     ДОСТУПНО       ИСПОЛЬЗОВАНО     СЫРОЕ ИСПОЛЬЗОВАНО     % СЫРОГО ИСПОЛЬЗОВАНИЯ hdd        20 TiB      14 TiB     5.8 TiB      5.8 TiB         28.83 ssd       4.1 TiB     2.3 TiB     1.8 TiB      1.8 TiB         43.94 ВСЕГО      24 TiB      17 TiB     7.5 TiB      7.6 TiB         31.40 ПУЛЫ: ПУЛ         ID     ХРАНИТСЯ     ОБЪЕКТЫ     ИСПОЛЬЗОВАНО     % ИСПОЛЬЗОВАНО     МАКС ДОСТУПНО ceph-hdd      3     1.9 TiB     566.34k     5.8 TiB     32.89       3.9 TiB ceph-ssd      4     624 GiB     236.34k     1.8 TiB     50.86       589 GiB Глядя только на SSD-диски, 465GB x 9 дает 4185GB, что объясняет общий размер SSD 4.1TB, а % использования составляет 43.94%. Однако в пуле ceph-ssd % использования составляет 50.86%, и в GUI Proxmox он показывает, что использовано 75.61% для хранилища (1.79 TiB из 2.36 TiB). Почему есть разница в % использования? Также откуда взялась 2.36TB в GUI?
02.09.2019 18:12:00, Gert.]]> http://proxmox.su/forum/messages/forum63/message344921/80138-ponimanie-svobodnogo-mesta-v-ceph http://proxmox.su/forum/messages/forum63/message344921/80138-ponimanie-svobodnogo-mesta-v-ceph Mon, 02 Sep 2019 18:12:00 +0300 Proxmox Виртуальная Среда