После обновления моего 4-узлового кластера сегодня я больше не могу запускать никакие свои контейнеры. Corosync Cluster и Ceph показывают, что все в порядке. Я создал новый неприцельный контейнер после обновления, и он работает нормально. Надеюсь, что есть способ это исправить и не придется заново строить кластер... Я получаю ошибку при запуске fsck... pct fsck 4000 fsck from util-linux 2.33.1 fsck.ext2: Невозможно разрешить 'rbd:Ceph-CT/vm-4000-disk-0:conf=/etc/pve/ceph.conf:id=admin:keyring=/etc/pve/priv/ceph/Ceph-CT.keyring' команда 'fsck -a -l 'rbd:Ceph-CT/vm-4000-disk-0:conf=/etc/pve/ceph.conf:id=admin:keyring=/etc/pve/priv/ceph/Ceph-CT.keyring'' не удалась: код выхода 8 ceph статус кластер: id: e43a583a-2e95-46df-af6b-58574ce1187d состояние: HEALTH_OK сервисы: mon: 4 демона, кворум pve11,pve12,pve13,pve14 (возраст 35 м) mgr: pve11(active, с 94 м), резерв: pve14, pve12, pve13 osd: 16 osd: 16 запущены (с 36 м), 16 в сети (с 4н) данные: пулы: 2 пулы, 512 pg объекты: 508.84k объектов, 1.8 TiB использования: 5.2 TiB использовано, 24 TiB / 29 TiB доступно pg: 512 active+clean io: клиент: 5.3 KiB/s записей, 0 op/s чтений, 0 op/s записей Последняя строка в /var/log/ceph/ceph.log - все строки одинаковые 2019-11-09 18:17:23.837652 mgr.pve11 (mgr.19724137) 2956 : кластер [DBG] pgmap v2981: 512 pg: 512 active+clean; 1.8 TiB данных, 5.2 TiB использовано, 24 TiB / 29 TiB доступно; 6.3 KiB/s записей, 1 op/s pvecm статус Информация о кворуме ------------------ Дата: Суббота, 9 ноября 2019 18:08:58 Провайдер кворума: corosync_votequorum Узлы: 4 ID узла: 0x00000001 ID кольца: 1.1f8 Кворум: Да Информация о голосовании ---------------------- Ожидаемые голоса: 4 Максимально ожидаемые: 4 Всего голосов: 4 Кворум: 3 Флаги: Кворум Информация о членстве ---------------------- Nodeid Голоса Имя 0x00000001 1 10.10.1.11 (локальный) 0x00000002 1 10.10.1.12 0x00000003 1 10.10.1.13 0x00000004 1 10.10.1.14 Версии пакетов proxmox-ve: 6.0-2 (используемое ядро: 5.0.21-4-pve) pve-manager: 6.0-11 (используемая версия: 6.0-11/2140ef37) pve-kernel-helper: 6.0-11 pve-kernel-5.0: 6.0-10 pve-kernel-5.0.21-4-pve: 5.0.21-8 pve-kernel-5.0.21-3-pve: 5.0.21-7 pve-kernel-5.0.15-1-pve: 5.0.15-1 ceph: 14.2.4-pve1 ceph-fuse: 14.2.4-pve1 corosync: 3.0.2-pve4 criu: 3.11-3 glusterfs-client: 5.5-3 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.13-pve1 libpve-access-control: 6.0-3 libpve-apiclient-perl: 3.0-2 libpve-common-perl: 6.0-6 libpve-guest-common-perl: 3.0-2 libpve-http-server-perl: 3.0-3 libpve-storage-perl: 6.0-9 libqb0: 1.0.5-1 lvm2: 2.03.02-pve3 lxc-pve: 3.2.1-1 lxcfs: 3.0.3-pve60 novnc-pve: 1.1.0-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.0-8 pve-cluster: 6.0-7 pve-container: 3.0-10 pve-docs: 6.0-8 pve-edk2-firmware: 2.20190614-1 pve-firewall: 4.0-7 pve-firmware: 3.0-4 pve-ha-manager: 3.0-2 pve-i18n: 2.0-3 pve-qemu-kvm: 4.0.1-4 pve-xtermjs: 3.13.2-1 qemu-server: 6.0-13 smartmontools: 7.0-pve2 spiceterm: 3.1-1 vncterm: 1.6-1 zfsutils-linux: 0.8.2-pve2 Обновление Я нашел, как снова запустить свои контейнеры, мне нужно было удалить 4 строки, которые я добавил ранее, чтобы преобразовать контейнер из привилегированного в неприцельный. nano /etc/pve/lxc/[номер контейнера из интерфейса proxmox].conf Перед arch: amd64 cores: 1 hostname: Ion-LMN001 memory: 2560 net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.2.3,hwaddr=BE:7F:04:FE:E7:F2,ip=192.168.4.1/16,type=veth onboot: 1 ostype: ubuntu rootfs: local-lvm:vm-4001-disk-0,size=20G swap: 256 unprivileged: 1 lxc.mount.entry: /dev/random dev/random none bind,ro 0 0 lxc.mount.entry: /dev/urandom dev/urandom none bind,ro 0 0 lxc.mount.entry: /dev/random var/spool/postfix/dev/random none bind,ro 0 0 lxc.mount.entry: /dev/urandom var/spool/postfix/dev/urandom none bind,ro 0 0 После arch: amd64 cores: 1 hostname: Ion-LMN001 memory: 2560 net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.2.3,hwaddr=BE:7F:04:FE:E7:F2,ip=192.168.4.1/16,type=veth onboot: 1 ostype: ubuntu rootfs: local-lvm:vm-4001-disk-0,size=20G swap: 256 unprivileged: 1 У меня все еще возникает ошибка при запуске fsck... (Может быть, это нормально?) pct fsck 4000 fsck from util-linux 2.33.1 fsck.ext2: Невозможно разрешить 'rbd:Ceph-CT/vm-4000-disk-0:conf=/etc/pve/ceph.conf:id=admin:keyring=/etc/pve/priv/ceph/Ceph-CT.keyring' команда 'fsck -a -l 'rbd:Ceph-CT/vm-4000-disk-0:conf=/etc/pve/ceph.conf:id=admin:keyring=/etc/pve/priv/ceph/Ceph-CT.keyring'' не удалась: код выхода 8