Аспро: ЛайтШоп [тема: ceph rebalance osd]

ceph rebalance osd

Wed, 22 Apr 2020 11:59:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
К сожалению, у нас нет тестовой среды. Мы небольшая компания, это все, что у нас есть. Думаю, мы просто подождем, пока новые SSD приедут.
22.04.2020 11:59:00, ilia987.

ceph rebalance osd

Wed, 22 Apr 2020 11:57:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня не было проблем с моим домашним кластером Proxmox. Скажем так, худшее, что может произойти — это то, что 5 клиентов cephfs потеряют доступ к cephfs. В таком случае вам нужно будет вернуть min-compat-client на jewel. Но, как и со всем, это нужно тестировать в развивающей или тестовой среде.
22.04.2020 11:57:00, Liviu Sas.

ceph rebalance osd

Wed, 22 Apr 2020 11:53:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы используем это в нашей рабочей среде, какие риски?
22.04.2020 11:53:00, ilia987.

ceph rebalance osd

Wed, 22 Apr 2020 11:43:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Прямо как я и думал, ты можешь бежать.
22.04.2020 11:43:00, Liviu Sas.

ceph rebalance osd

Wed, 22 Apr 2020 11:32:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
посмотрел еще раз, у меня 5 клиентов (которые смонтировали cephfs), они находятся вне proxmox, это Ubuntu 18.04 LTS (GNU/Linux 4.15.0-88-generic x86_64), версия ceph 12.2.12 (1436006594665279fe734b4c15d7e08c13ebd777) luminous (стабильная), так что это luminous. Насколько я знаю, это настройка, которая у нас есть. В нашем кластере ceph есть 4 варианта использования: lxc\vm внутри proxmox, cephfs для хранения данных (внутри proxmox, используется lxc), монтирование cephfs для 5 машин вне proxmox, одна из пяти машин повторно делится с клиентами для чтения только через другую сеть.
22.04.2020 11:32:00, ilia987.

ceph rebalance osd

Wed, 22 Apr 2020 11:10:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Интересно, похоже, у вас 5 клиентов, сообщающих о версии "jewel". Скорее всего, вы подключаете cephfs с какого-то клиента, использующего старую версию ядра. Можете убедиться, что все клиенты, подключающие cephfs, используют как минимум ядро версии 3.15? Если вы можете подтвердить, что у вас нет клиентов с более старой версией Linux, вы должны иметь возможность заставить его работать, используя: Если вы получите следующую ошибку, вы можете добавить "--yes-i-really-mean-it" к команде, чтобы заставить это сработать.
22.04.2020 11:10:00, Liviu Sas.

ceph rebalance osd

Wed, 22 Apr 2020 09:21:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Код: { "mon": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ], "mds": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ], "osd": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 12 } ], "client": [ { "features": "0x27018fb86aa42ada", "release": "jewel", "num": 5 }, { "features": "0x2f018fb86aa42ada", "release": "luminous", "num": 19 }, { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ], "mgr": [ { "features": "0x3ffddff8ffacffff", "release": "luminous", "num": 3 } ] } Думаю, это последняя версия: Код: proxmox-ve: 6.1-2 (работает на ядре: 5.3.13-1-pve) pve-manager: 6.1-5 (работает версия: 6.1-5/9bf06119) pve-kernel-5.3: 6.1-1 pve-kernel-helper: 6.1-1 pve-kernel-5.0: 6.0-11 pve-kernel-4.15: 5.4-12 pve-kernel-5.3.13-1-pve: 5.3.13-1 pve-kernel-5.0.21-5-pve: 5.0.21-10 pve-kernel-5.0.21-3-pve: 5.0.21-7 pve-kernel-4.15.18-24-pve: 4.15.18-52 pve-kernel-4.15.18-21-pve: 4.15.18-48 pve-kernel-4.15.18-20-pve: 4.15.18-46 pve-kernel-4.15.18-9-pve: 4.15.18-30 ceph-fuse: 12.2.11+dfsg1-2.1+b1 corosync: 3.0.2-pve4 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: 0.8.35+pve1 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.13-pve1 libpve-access-control: 6.0-5 libpve-apiclient-perl: 3.0-2 libpve-common-perl: 6.0-9 libpve-guest-common-perl: 3.0-3 libpve-http-server-perl: 3.0-3 libpve-storage-perl: 6.1-3 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve3 lxc-pve: 3.2.1-1 lxcfs: 3.0.3-pve60 novnc-pve: 1.1.0-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.1-2 pve-cluster: 6.1-2 pve-container: 3.0-16 pve-docs: 6.1-3 pve-edk2-firmware: 2.20191127-1 pve-firewall: 4.0-9 pve-firmware: 3.0-4 pve-ha-manager: 3.0-8 pve-i18n: 2.0-3 pve-qemu-kvm: 4.1.1-2 pve-xtermjs: 3.13.2-1 qemu-server: 6.1-4 smartmontools: 7.0-pve2 spiceterm: 3.1-1 vncterm: 1.6-1 zfsutils-linux: 0.8.2-pve2
22.04.2020 09:21:00, ilia987.

ceph rebalance osd

Tue, 21 Apr 2020 23:01:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Попробуйте выполнить команду "ceph features", чтобы посмотреть, какие у вас есть старые клиенты. Результат можете вставить в этот список. Есть вероятность, что у вас работает клиент cephfs на более старой версии ядра. Какую версию proxmox вы используете? Какие версии ядра на узлах, которые обращаются к cephfs? В версии ядра linux <5.3 была проблема в реализации cephfs, из-за которой версия неправильно отображалась: https://lists.ceph.io/hyperkitty/li...d/RUBXOY2L4JD7AYXHTTTXNJI4BPE6S7TX/?sort=date Всего хорошего, Ливиу
21.04.2020 23:01:00, Liviu Sas.

ceph rebalance osd

Tue, 07 Apr 2020 10:58:00 +0300

ceph rebalance osd Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
как я могу заставить систему повторно сбалансировать нагрузку? у меня 3 узла, по 4 SSD на каждом (sas3 segate nitro 3.8 ТБ), производительность потрясающая, я получаю более 2 ГБ/с при чтении и записи (в условиях реальной нагрузки на пике), но у меня появились некоторые предупреждения, потому что баланс не идеален. есть идеи, что делать?
07.04.2020 10:58:00, ilia987.