С выходом версии 6.0-4 каковы планы по миграции клиента Ceph на более новую версию?

https://pve.proxmox.com/wiki/Package_Repositories Это основной репозиторий Ceph для Proxmox VE, который содержит пакеты Ceph для производственного использования. Вы также можете использовать этот репозиторий для обновления только клиента Ceph. Файл /etc/apt/sources.list.d/ceph.list deb http://download.proxmox.com/debian/ceph-nautilus buster main

Похоже, что 6.0-4 все еще использует клиент jewel. Ошибка EPERM: не удается установить require_min_compat_client на luminous: 3 подключенных клиента выглядят как jewel (не хватает 0x800000000000000);

Странно, что я вижу версии файлов как 14.2.1-pve2. Я установил 5.4 свежую с нуля без Ceph, обновился до 6.0-1 Beta, установил Ceph, а затем обновился до 6.0-4 релиза.

Все еще что-то не так. Я обновил свой кластер до версии Bash: ~# pveversion
pve-manager/6.0-9/508dcee0 (работает с ядром: 5.0.21-3-pve). Все пакеты ceph находятся на версии nautilus: Bash: ~# dpkg -l | grep ceph
ii  ceph                                 14.2.4-pve1                             amd64        распределенное хранилище и файловая система
ii  ceph-base                            14.2.4-pve1                             amd64        общие библиотеки демонов ceph и инструменты управления
ii  ceph-common                          14.2.4-pve1                             amd64        общие утилиты для монтирования и взаимодействия с кластером хранения ceph
ii  ceph-fuse                            14.2.4-pve1                             amd64        клиент на основе FUSE для распределенной файловой системы Ceph
ii  ceph-mds                             14.2.4-pve1                             amd64        сервер метаданных для распределенной файловой системы ceph
ii  ceph-mgr                             14.2.4-pve1                             amd64        менеджер для распределенной системы хранения ceph
ii  ceph-mon                             14.2.4-pve1                             amd64        сервер мониторинга для системы хранения ceph
ii  ceph-osd                             14.2.4-pve1                             amd64        сервер OSD для системы хранения ceph
ii  libcephfs2                           14.2.4-pve1                             amd64        библиотека клиента распределенной файловой системы Ceph
ii  python-ceph-argparse                 14.2.4-pve1                             all          Библиотеки утилит Python 2 для Ceph CLI
ii  python-cephfs                        14.2.4-pve1                             amd64        Библиотеки Python 2 для библиотеки libcephfs Ceph. Теперь, чтобы использовать балансировщик для ceph (https://docs.ceph.com/docs/mimic/mgr/balancer), мне нужно установить минимально допустимого клиента для моего кластера на luminous: Bash: ~# ceph osd set-require-min-compat-client luminous
Ошибка EPERM: не удается установить require_min_compat_client на luminous: 3 подключенных клиента(ов) выглядят как jewel (отсутствует 0x800000000000000); добавьте --yes-i-really-mean-it, чтобы сделать это в любом случае. Что я упустил? Единственные клиенты для этого кластера — это ВМ, использующие его для своих дисков.

Я перезагрузил каждый узел как минимум один раз после обновления. Тем не менее, монтирования cephfs все еще отображаются как выполненные клиентом jewel. Удаление хранилища cephfs из кластера и его повторное создание тоже не меняет эту ситуацию. Странно, что с удаленным cephfs я смог выполнить команду Bash: ~# ceph osd set-require-min-compat-client luminous без проблем. После этого я смог снова включить монтирования cephfs. Ошибок или предупреждений не возникло. Тем не менее, клиенты все еще показываются как jewel: Bash: ~# ceph features { "mon": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ], "mds": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ], "osd": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 16 } ], "client": [ { "features": "0x27018fb86aa42ada", "release": "jewel", "num": 3 }, { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 63 } ], "mgr": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ] }

Я использовал интерфейс для настройки хранилища cephfs. В интерфейсе не упоминается ничего о kernel и fuse? (И на странице справки тоже нет) Я вручную установил fuse на 1 в storage.cfg и перемонтировал. Теперь каждый клиент отображается как luminous. Спасибо!