Понимаю, что отвечаю с опозданием, но наткнулся на эту тему, пока готовился заново настроить свои пулы метаданных. Краткий ответ: каждый пул должен быть «включён» для конкретных приложений. Когда вы создаёте пул через интерфейс или командную строку, по умолчанию включено RBD. Посмотреть, для каких приложений включён ваш пул, можно так:

Код:  
root@pmx2:~# ceph osd pool application get cephfs_metadata  
{  
   "cephfs": {  
       "metadata": "cephfs"  
   }  
}

root@pmx2:~# ceph osd pool application get cephfs_data  
{  
   "cephfs": {  
       "data": "cephfs"  
   }  
}

root@pmx2:~# ceph osd pool application get SM32  
{  
   "rbd": {}  
}

Согласно этой схеме, нам нужно включить целевой пул для cephfs:

Код:  
ceph osd pool application enable {имя-пула} {имя-приложения}

или

ceph osd pool application set --pool=имя-пула --app=строка --key=строка --value=строка

(обновлю эту ветку после того, как закончу миграцию пулов)

СПРАВКА:  
* https://docs.ceph.com/en/quincy/api/mon_command_api/#osd-pool-application-get

Итак, у вас есть пул rbd под названием vmpool, и теперь вы хотите положить CephFS в этот пул? Это не работает и, по крайней мере для меня, не имеет смысла. Хотели бы вы подробнее рассказать, чего именно хотите добиться?

Самый безопасный вариант: создать новую пустую пулу для CephFS.

CephFS работает, но он сильно загружен метаданными — отлично подходит для общих POSIX-файлов, но не идеален для интенсивных на запись рабочих нагрузок типа баз данных или контейнеров без тщательного подбора и настройки MDS. Чтобы не морочиться с настройками и снизить риски, я буду использовать RBD тома (быстрые, блочные).

Привет, @FSNaval, я пропустил, что ты используешь NVMe. Если это так, то использование пула CephFS на NVMe будет работать нормально даже при интенсивной работе с метаданными. Но всё равно я бы разделял контейнеры, которым нужен быстрый диск, чтобы они использовали RBD. Итак... Если нужны общие файлы (много контейнеров читают и пишут в одну и ту же папку), тогда да — используй CephFS на dockerswarm. Если же каждому контейнеру нужен просто свой быстрый диск (базы данных, логи, кэш и так далее), тогда лучше использовать RBD тома — тоже на dockerswarm, но без CephFS.