Аспро: ЛайтШоп [тема: Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore.] http://proxmox.su Новое в теме Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 04 Apr 2026 02:06:40 +0300 Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я провожу тест. Шаги: 1. Сначала используйте `ceph config dump`, чтобы проверить. 2. Введите команду снова: `ceph config set global bdev_async_discard_threads 1 ceph config set global bdev_enable_discard true`. 3. Снова используйте `ceph config dump`, чтобы проверить, работает ли это. Я жду уже 30 минут. Предупреждение не исчезает автоматически. Сейчас собираюсь перезагрузить ноду, это временно устранит проблему, но обычно на следующий день снова появится сообщение об ошибке. Мне нужно время, чтобы вам отчитаться. Если команда не решает проблему, можете использовать следующие команды, чтобы удалить две добавленные настройки и вернуть их в исходное состояние: `ceph config rm global bdev_async_discard_threads ceph config rm global bdev_enable_discard`
17.04.2025 03:59:00, wuwzy.]]> http://proxmox.su/forum/messages/forum63/message319428/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319428/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Thu, 17 Apr 2025 03:59:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, ошибка в Ceph? https://github.com/rook/rook/discussions/15403 Решение проблему не решает.
# pveceph pool get pool_vm
┌────────────────────────┬─────────────────┐
│ key                    │ value           │
╞════════════════════════╪═════════════════╡
│ crush_rule             │ replicated_rule │
├────────────────────────┼─────────────────┤
│ fast_read              │ 0               │
├────────────────────────┼─────────────────┤
│ hashpspool             │ 1               │
├────────────────────────┼─────────────────┤
│ id                     │ 2               │
├────────────────────────┼─────────────────┤
│ min_size               │ 2               │
├────────────────────────┼─────────────────┤
│ name                   │ pool_vm         │
├────────────────────────┼─────────────────┤
│ nodeep-scrub           │ 0               │
├────────────────────────┼─────────────────┤
│ nodelete               │ 0               │
├────────────────────────┼─────────────────┤
│ nopgchange             │ 0               │
├────────────────────────┼─────────────────┤
│ noscrub                │ 0               │
├────────────────────────┼─────────────────┤
│ nosizechange           │ 0               │
├────────────────────────┼─────────────────┤
│ pg_autoscale_mode      │ on              │
├────────────────────────┼─────────────────┤
│ pg_num                 │ 512             │
├────────────────────────┼─────────────────┤
│ pgp_num                │ 512             │
├────────────────────────┼─────────────────┤
│ size                   │ 3               │
├────────────────────────┼─────────────────┤
│ target_size_ratio      │ 1               │
├────────────────────────┼─────────────────┤
│ use_gmt_hitset         │ 1               │
├────────────────────────┼─────────────────┤
│ write_fadvise_dontneed │ 0               │
└────────────────────────┴─────────────────┘

С уважением.
Francis
16.04.2025 15:59:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319427/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319427/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 15:59:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
root@pve1:~# pveceph pool get cephfs_data
┌────────────────────────┬─────────────────┐
│ key                    │ value           │
╞════════════════════════╪═════════════════╡
│ crush_rule             │ replicated_rule │
├────────────────────────┼─────────────────┤
│ fast_read              │ 0               │
├────────────────────────┼─────────────────┤
│ hashpspool             │ 1               │
├────────────────────────┼─────────────────┤
│ id                     │ 1               │
├────────────────────────┼─────────────────┤
│ min_size               │ 2               │
├────────────────────────┼─────────────────┤
│ name                   │ cephfs_data     │
├────────────────────────┼─────────────────┤
│ nodeep-scrub           │ 0               │
├────────────────────────┼─────────────────┤
│ nodelete               │ 0               │
├────────────────────────┼─────────────────┤
│ nopgchange             │ 0               │
├────────────────────────┼─────────────────┤
│ noscrub                │ 0               │
├────────────────────────┼─────────────────┤
│ nosizechange           │ 0               │
├────────────────────────┼─────────────────┤
│ pg_autoscale_mode      │ on              │
├────────────────────────┼─────────────────┤
│ pg_num                 │ 512             │
├────────────────────────┼─────────────────┤
│ pg_num_min             │ 128             │
├────────────────────────┼─────────────────┤
│ pgp_num                │ 512             │
├────────────────────────┼─────────────────┤
│ size                   │ 3               │
├────────────────────────┼─────────────────┤
│ use_gmt_hitset         │ 1               │
├────────────────────────┼─────────────────┤
│ write_fadvise_dontneed │ 0               │
└────────────────────────┴─────────────────┘
16.04.2025 09:33:00, Petr Svacina.]]> http://proxmox.su/forum/messages/forum63/message319426/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319426/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:33:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
CLI-> pveceph pool get POOLNAME
16.04.2025 09:28:00, itNGO.]]> http://proxmox.su/forum/messages/forum63/message319425/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319425/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:28:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
?
16.04.2025 09:24:00, Petr Svacina.]]> http://proxmox.su/forum/messages/forum63/message319424/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319424/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:24:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Баг Ceph? https://github.com/rook/rook/discussions/15403
16.04.2025 09:23:00, Petr Svacina.]]> http://proxmox.su/forum/messages/forum63/message319423/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319423/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:23:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Стирающее кодирование или зеркалирование?

В последнее время в облачном хранилище возник горячий спор: что лучше для защиты данных – стирающее кодирование (Erasure Coding) или зеркалирование (Mirroring)? Давайте разбираться.

**Зеркалирование (Mirroring): Простота и скорость восстановления**

*   Самый простой вариант: данные дублируются на несколько дисков.
*   Восстановление занимает считанные минуты, так как нужно просто скопировать данные с резервной копии.
*   Но тут есть загвоздка: для хранения данных требуется в 2-3 раза больше места.

**Стирающее кодирование (Erasure Coding): Эффективность и экономия места**

*   Данные разбиваются на части, добавляются контрольные блоки, а затем распределяются по разным дискам.
*   При выходе из строя одного или нескольких дисков, данные можно восстановить, используя остальные блоки.
*   Круто то, что для хранения данных требуется значительно меньше места – например, в 6 раз меньше, чем при зеркалировании.
*   Но восстановление данных занимает больше времени – от нескольких минут до часа, в зависимости от конфигурации.

**Так что же выбрать?**

Зависит от ваших приоритетов:

*   **Нужна максимальная скорость восстановления?** Берите зеркалирование.
*   **Хотите сэкономить место?** Стирающее кодирование – ваш выбор.

#cloudstorage #datacopying #erasurecoding #mirroring
16.04.2025 09:20:00, itNGO.]]> http://proxmox.su/forum/messages/forum63/message319422/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319422/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:20:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, у меня та же проблема. Окружение: 3 ноды Proxmox-VE: 8.4.0 (ядро: 6.8.12-9-pve) pve-manager: 8.4.1 (версия: 8.4.1/2a5fa54a8503f96d) ceph: 19.2.1-pve3 ceph-fuse: 19.2.1-pve3 Последние патчи применены. Сообщение об ошибке: HEALTH_WARN: 3 OSD испытывают медленную работу в BlueStore osd.8 зафиксировано замедление работы в BlueStore osd.14 зафиксировано замедление работы в BlueStore osd.15 зафиксировано замедление работы в BlueStore До этого было 6 ошибок OSD. Я перезагружал узлы кластера по одному, и они возвращались в нормальное состояние, но на следующий день опять появилась эта проблема.
16.04.2025 03:54:00, wuwzy.]]> http://proxmox.su/forum/messages/forum63/message319421/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319421/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 03:54:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
И у меня так же (osd.0 и osd.1). osd.0 зафиксировал признаки медленной работы в Bluestore, а osd.0 зафиксировал признаки заблокированного чтения в устройстве DB. Я использую pve-manager 8.4.1, kernel 6.8.12-9-pve и ceph version 17.2.8.
15.04.2025 10:30:00, Edwin_prox.]]> http://proxmox.su/forum/messages/forum63/message319420/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319420/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Tue, 15 Apr 2025 10:30:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, по, у меня тоже возникает это предупреждение: Пользователь добавил изображение Кто-нибудь из вас решил эту проблему? У меня это появилось после обновления и апгрейда PVE до 8.3.5, а версия ceph теперь 17.2.8. С наилучшими пожеланиями, Ким.
15.04.2025 02:25:00, rolandkim.amaro.]]> http://proxmox.su/forum/messages/forum63/message319419/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319419/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Tue, 15 Apr 2025 02:25:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Такая же проблема. Подписался, чтобы следить за развитием событий.
14.04.2025 19:03:00, wassupluke.]]> http://proxmox.su/forum/messages/forum63/message319418/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319418/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Mon, 14 Apr 2025 19:03:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Наконец-то снова получил это "медленное" предупреждение. Пользователь добавил изображение Фрэнсис
14.04.2025 10:27:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319417/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319417/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Mon, 14 Apr 2025 10:27:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я установил PVE 8.4.1 и перезапустил все "медленные" OSD, пока что предупреждений о "медленных" нет. С наилучшими пожеланиями, Фрэнсис.
14.04.2025 10:19:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319416/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319416/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Mon, 14 Apr 2025 10:19:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, Яга. Уже сделано, когда перезапускаю процесс OSDs, предупреждение о медленной работе исчезает, но через некоторое время сообщение появляется снова. С уважением, Фрэнсис.
13.04.2025 18:38:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319415/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319415/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Sun, 13 Apr 2025 18:38:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Фрэнсис!
Не мог бы ты перезапустить OSD, вызывающий предупреждение о медленной работе, через GUI или CLI? Пожалуйста, проверь еще раз и держи нас в курсе.

С уважением,
13.04.2025 09:32:00, YAGA.]]> http://proxmox.su/forum/messages/forum63/message319414/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319414/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Sun, 13 Apr 2025 09:32:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, это у меня происходит. Не работает и новые ошибки I/O DISCARD. Не работает. Пока что больше ошибок I/O DISCARD нет, перезагрузка не меняет проблему "медленного" OSD. Предупреждение о "медленном" OSD появляется после обновления Ceph с 19.2.0 до 19.2.1. С уважением, Франсис.
12.04.2025 15:56:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319413/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319413/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Sat, 12 Apr 2025 15:56:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Определи, пожалуйста, что значит "remove" (удалить). Что именно ты сделал? Вот это? Bash: ceph config rm global bdev_async_discard_threads
ceph config rm global bdev_enable_discard видно через: ceph config dump с этим или без этого, у меня всё равно остались ошибки производительности OSD.

------------------------------------------
Редакция №2: Что помогло:
- добавление "bdev_async_discard_threads" и "bdev_enable_discard".
Как и предлагалось, не сработало.
- удаление "bdev_async_discard_threads" и "bdev_enable_discard" тоже ничего не изменило.
НО после того, как я это удалил, я освободил все хосты (8x2 кластер в конфигурации stretch) от ВМ.
Выключил сейчас -h, ждал целую минуту,
снова включил хост. Просто перезагрузка хоста не помогла!!!
11.04.2025 23:38:00, neodemus.]]> http://proxmox.su/forum/messages/forum63/message319412/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319412/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Fri, 11 Apr 2025 23:38:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, ребята, у меня та же проблема после обновления до CEPH 19.2.1... Конфигурация: 3 ноды: proxmox-ve: 8.4.0 (ядро: 6.8.12-9-pve) pve-manager: 8.4.1 ceph: 19.2.1-pve3 HEALTH_WARN: 2 OSD испытывают медленные операции в BlueStore osd.9 зафиксированы признаки медленной работы в BlueStore osd.15 зафиксированы признаки медленной работы в BlueStore Есть какие-нибудь успехи? Спасибо.
16.04.2025 09:18:00, Petr Svacina.]]> http://proxmox.su/forum/messages/forum63/message319411/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319411/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Wed, 16 Apr 2025 09:18:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, Наконец-то я убрал "bdev_async_discard_threads" и "bdev_enable_discard", потому что думаю, что это создаёт ошибки ввода-вывода на некоторых SSD-дисках. С уважением, Фрэнсис.
11.04.2025 10:01:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319410/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319410/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Fri, 11 Apr 2025 10:01:00 +0300 Proxmox Виртуальная Среда Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Ceph 19.2.1: 2 OSD(s) испытывают медленную работу в BlueStore. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет!

На наших кластерах 8.4.0 с момента обновления Ceph с версии 19.2.0 до 19.2.1 (pve2/pve3) у меня появились предупреждающие сообщения. Я применил "решение" по ссылке https://github.com/rook/rook/discussions/15403, но это не решило "проблему".

С уважением,
Francis
10.04.2025 09:02:00, FrancisS.]]> http://proxmox.su/forum/messages/forum63/message319409/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. http://proxmox.su/forum/messages/forum63/message319409/77028-ceph-19.2.1_-2-osd_s_-ispytyvayut-medlennuyu-rabotu-v-bluestore. Thu, 10 Apr 2025 09:02:00 +0300 Proxmox Виртуальная Среда