ceph 19.2.1 - в syslog пишет "bad crc/signature" при включении KRBD в /etc/pve/storage.cfg

Thu, 10 Jul 2025 11:40:00 +0300

ceph 19.2.1 - в syslog пишет "bad crc/signature" при включении KRBD в /etc/pve/storage.cfg Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, столкнулись с каким-то странным поведением от нашего Ceph-кластера, работающего на Squid 19.2.1 Bluestore. У нас два Ceph Storage Pool работают в конфигурации stretch-кластера между двумя определенными дата-центрами "datacenter1" и "datacenter2" с 3 узлами в каждом, с 25G SFP+ uplink bond в режиме LACP на отдельной VLAN без каких-либо проблем поначалу. Затем мы удалили диск, как симулировали отказ диска, вернули его обратно, и кластер работал нормально. Утром наш коллега хотел подключиться по RDP к одному из свежеустановленных Windows Server 2025 VM, который мы установили накануне. После некоторой проверки в веб-интерфейсе Proxmox мы увидели несколько ошибок, где гостевая система была неотзывчивой. pve-ha-lrm[1314815]: не удалось сопоставить том RBD vm-4022-disk-0: rbd: ошибка записи в sysfs serverB2 pve-ha-lrm[1314634]: завершить задачу UPID:serverB2:00140F4B:028CE634:686E35F9:qmstart:4022:root@pam: не удалось сопоставить том RBD vm-4022-disk-0: rbd: ошибка записи в sysfs Это касалось не только этой VM, но и гостевых систем, которые находятся на этом хосте, с ошибками ввода-вывода. Физический диск не имеет проблем. Я проверил его с помощью nvme-cli, и iDRAC также говорит, что все в порядке. Мы несколько часов разбирались, перезагружали хост, мигрировали VM, удаляли этот конкретный OSD и добавляли его обратно. У нас были разные веса в нашем бакете. Перевесили этот конкретный OSD, а затем весь бакет до его исходного веса. Все в порядке, Ceph начал перебалансировку/восстановление. Мигрировали Windows Server 2025 VM обратно на serverB2, продолжили наши задачи, 5-10 минут спустя (по-моему, совсем не помню) - соединение RDP было потеряно, и те же симптомы снова. Мы начали постоянно получать сообщение об ошибке в syslog. serverX kernel: [428232.120381] libceph: osdX (1)x.x.x.x:6809 bad crc/signature serverX kernel: [428232.120376] libceph: read_partial_message 00000000da4b413f data crc 3653550545 != exp. 3231240447 Затем мы отключили KRBD в storage.cfg через веб-интерфейс для этого конкретного пула, поскольку у нас их два, просто чтобы проверить, сохраняется ли ошибка. Оставили так на ночь и проверили сегодня без каких-либо проблем. Во втором пуле есть какие-то функции, которые нам нужны, поэтому KRBD включен. Мы также хотим использовать функции для первого пула, где сейчас отключен KRBD. Есть ли способ проверить, это ошибка или просто ошибка Ceph, поскольку она находилась в состоянии, в котором не должна была быть? Мы проверили все логи Ceph на этом хосте "serverB2" – Кроме OSD.13, который и привел ко всему этому(?). Ceph-кластер сейчас здоров и был здоров вчера тоже. Все 6 узлов + quorum только (всего 7) используют один и тот же корпоративный репозиторий и настроены одинаково. Код: proxmox-ve: 8.4.0 (работает ядро: 6.8.12-11-pve)
pve-manager: 8.4.1 (работает версия: 8.4.1/2a5fa54a8503f96d)
proxmox-kernel-helper: 8.1.1
proxmox-kernel-6.8.12-11-pve-signed: 6.8.12-11
proxmox-kernel-6.8: 6.8.12-11
proxmox-kernel-6.8.12-10-pve-signed: 6.8.12-10
proxmox-kernel-6.8.12-9-pve-signed: 6.8.12-9
proxmox-kernel-6.8.12-8-pve-signed: 6.8.12-8
proxmox-kernel-6.8.12-4-pve-signed: 6.8.12-4
ceph: 19.2.1-pve3
ceph-fuse: 19.2.1-pve3
corosync: 3.1.9-pve1
criu: 3.17.1-2+deb12u1
glusterfs-client: 10.3-5
ifupdown2: 3.2.0-1+pmx11
ksm-control-daemon: 1.5-1
libjs-extjs: 7.0.0-5
libknet1: 1.30-pve2
libproxmox-acme-perl: 1.6.0
libproxmox-backup-qemu0: 1.5.1
libproxmox-rs-perl: 0.3.5
libpve-access-control: 8.2.2
libpve-apiclient-perl: 3.3.2
libpve-cluster-api-perl: 8.1.0
libpve-cluster-perl: 8.1.0
libpve-common-perl: 8.3.1
libpve-guest-common-perl: 5.2.2
libpve-http-server-perl: 5.2.2
libpve-network-perl: 0.11.2
libpve-rs-perl: 0.9.4
libpve-storage-perl: 8.3.6
libspice-server1: 0.15.1-1
lvm2: 2.03.16-2
lxc-pve: 6.0.0-1
lxcfs: 6.0.0-pve2
novnc-pve: 1.6.0-2
proxmox-backup-client: 3.4.1-1
proxmox-backup-file-restore: 3.4.1-1
proxmox-firewall: 0.7.1
proxmox-kernel-helper: 8.1.1
proxmox-mail-forward: 0.3.2
proxmox-mini-journalreader: 1.4.0
proxmox-offline-mirror-helper: 0.6.7
proxmox-widget-toolkit: 4.3.11
pve-cluster: 8.1.0
pve-container: 5.2.6
pve-docs: 8.4.0
pve-edk2-firmware: 4.2025.02-3
pve-esxi-import-tools: 0.7.4
pve-firewall: 5.1.1
pve-firmware: 3.15-4
pve-ha-manager: 4.0.7
pve-i18n: 3.4.4
pve-qemu-kvm: 9.2.0-5
pve-xtermjs: 5.5.0-2
qemu-server: 8.3.12
smartmontools: 7.3-pve1
spiceterm: 3.3.0
swtpm: 0.8.0+pve1
vncterm: 1.8.0
zfsutils-linux: 2.2.7-pve2
10.07.2025 11:40:00, S.H..

Аспро: ЛайтШоп [тема: ceph 19.2.1 - в syslog пишет "bad crc/signature" при включении KRBD в /etc/pve/storage.cfg]

ceph 19.2.1 - в syslog пишет "bad crc/signature" при включении KRBD в /etc/pve/storage.cfg