http://proxmox.su Новое в теме ceph OSD добавляет огромную проблему форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 13 Nov 2026 03:48:31 +0300 ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вы абсолютно правы, pveceph/GUI создаёт OSD с полным весом. В большинстве случаев это действительно не проблема. Если у вас очень низкие настройки потоков восстановления и вы добавляете по одному OSD, кластер Ceph справится с нагрузкой без проблем. Если у вас есть выделённая сеть для синхронизации Ceph со скоростью более 10 Гбит/с, это не вызовет никакого хаоса. У нас есть большие кластеры Pmx+Ceph с множеством OSD. Но мы стараемся держать OSD одинакового размера и просто использовать GUI для добавления или удаления OSD. Единственный раз, когда мы делаем OSD вручную — это когда ситуация похожа на вашу. Просто имейте в виду, что «всё», что связано с Ceph OSD, занимает «много времени». Представьте, что вы в будущем заменяете 70 OSD по 1,6 ТБ — ждите очень долгий процесс. Но хорошая новость в том, что вы можете сделать этот процесс максимально незаметным для пользователей, если просто смиритесь с фактором времени.
09.04.2018 19:59:00, wahmed.]]> http://proxmox.su/forum/messages/forum63/message357814/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357814/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 09 Apr 2018 19:59:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, Васим. Я тоже так думал, но если я использую pveceph для создания OSD, он создастся с полной нагрузкой. Безопасно ли делать так и потом менять вес после развертывания, или лучше сразу создать вручную с более подходящим значением веса?
09.04.2018 19:47:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message357813/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357813/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 09 Apr 2018 19:47:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Вот что, на мой взгляд, произошло. Я не знаю, какую именно процедуру ты использовал при добавлении этого узла, так что заранее прошу прощения. Если ты добавил узел и все 8 SSD сразу, то подобная проблема вполне ожидаема. К тому же твои новые SSD — 1,6 ТБ вместо 480 ГБ. Это, вероятно, усугубило ситуацию, если при добавлении каждого OSD был выставлен максимальный вес. Думаю, ты знаком с понятием «веса» OSD. Новые 1,6 ТБ OSD, очевидно, имеют гораздо больший вес, чем 480 ГБ. Ceph пытается распределять данные на основе веса: чем выше вес, тем больше объём данных. В такой ситуации весь твой кластер Ceph пришёл в хаос, пытаясь перераспределить огромный объём данных со всех 70 OSD. Правильнее было бы добавить все OSD сразу с весом 0, а затем постепенно увеличивать, например, до 0,10 или 0,25, ждать окончания перераспределения, снова увеличивать и так далее. Тогда Ceph не сойдёт с ума, обрабатывая меньшие порции данных. Учти, что 8 OSD по 1,6 ТБ будут содержать гораздо больше данных, чем когда все OSD хранят примерно одинаковое количество объектов. Надеюсь, это поможет.
09.04.2018 19:42:00, wahmed.]]> http://proxmox.su/forum/messages/forum63/message357812/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357812/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 09 Apr 2018 19:42:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У меня были похожие результаты при добавлении узла в кластер proxmox 5.1/Luminous с полностью SSD-развёртыванием прошлой ночью. Я добавил узел с 8 SSD на 1,6 ТБ в кластер, где уже было 70 дисков по 480 ГБ; в итоге начался полный беспорядок — куча stuck PG, которые пришлось вручную чистить после ребаланса. Был полный хаос, и решение проблемы заняло несколько часов. @devs, какова правильная процедура и какие настройки ceph нужно использовать, чтобы добавить OSD в существующий кластер и при этом сохранить его работоспособность?
09.04.2018 19:01:00, alexskysilk.]]> http://proxmox.su/forum/messages/forum63/message357811/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357811/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 09 Apr 2018 19:01:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, понятно. Спасибо за информацию. Приятно знать, что последняя прошивка больше недоступна.
15.04.2017 03:26:00, chris_lee.]]> http://proxmox.su/forum/messages/forum63/message357810/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357810/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Sat, 15 Apr 2017 03:26:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, я обновлял их с версии: 3.0.0 дата: 26 марта 2010, 13:00:02 до версии: 3.9.1 дата: 23 сентября 2012, 12:11:59, но теперь вижу, что HP удалил файлы обновлений с FTP-сервера ftp://ftp.hp.com/pub/softlib2/software1/pubsw-linux/p1353577982/
13.04.2017 16:44:00, Charalampos Toulkaridis.]]> http://proxmox.su/forum/messages/forum63/message357809/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357809/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Thu, 13 Apr 2017 16:44:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Активное резервное копирование достаточно, если у вас 40G. Похоже, попробую IB дома на лабораторной установке. Цены на оборудование кажутся оправданными. Спасибо за информацию. А есть ли ещё прошивки или вы застряли на той, что идёт с устройствами?
13.04.2017 06:37:00, chris_lee.]]> http://proxmox.su/forum/messages/forum63/message357808/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357808/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Thu, 13 Apr 2017 06:37:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
да, как active-backup
12.04.2017 10:45:00, Charalampos Toulkaridis.]]> http://proxmox.su/forum/messages/forum63/message357807/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357807/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Wed, 12 Apr 2017 10:45:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Отлично, большое спасибо. Поддерживают ли 4036 по сути объединение двух линий для обеспечения резервирования, если у вас есть два коммутатора?
10.04.2017 12:40:00, chris_lee.]]> http://proxmox.su/forum/messages/forum63/message357806/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357806/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 10 Apr 2017 12:40:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
HP Voltaire Infiniband 4036 4xQDR 36-портовый
10.04.2017 12:22:00, Charalampos Toulkaridis.]]> http://proxmox.su/forum/messages/forum63/message357805/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357805/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 10 Apr 2017 12:22:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Хорошо, понял. Какой моделью IB switch ты пользуешься?
10.04.2017 12:18:00, chris_lee.]]> http://proxmox.su/forum/messages/forum63/message357804/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357804/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 10 Apr 2017 12:18:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, сначала подтвердите, что после изменения osd_recovery_max_active и osd_max_backfills на 1 добавление новых OSD-дисков происходит без каких-либо проблем. Каждый новый OSD (SSD 1.92TB) требует около 15 минут на ребалансировку, и за последние 3 недели я добавил примерно +20 дисков без какого-либо влияния на виртуальные машины. Chris_lee, у нас нет избыточной сети, только IB. У нас 4 управляемых коммутатора, каждый сервер оснащён двумя IB PCIe адаптерами, и они подключены к 2 разным коммутаторам.
10.04.2017 10:48:00, Charalampos Toulkaridis.]]> http://proxmox.su/forum/messages/forum63/message357803/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357803/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Mon, 10 Apr 2017 10:48:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Могу я спросить, какое именно оборудование Infiniband вы используете и есть ли у вас резервная сеть (bonding/stacking)? Я тоже подумываю о том, чтобы использовать IB.
09.04.2017 19:51:00, chris_lee.]]> http://proxmox.su/forum/messages/forum63/message357802/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357802/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Sun, 09 Apr 2017 19:51:00 +0300 Proxmox Виртуальная Среда ceph OSD добавляет огромную проблему Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, у меня такая проблема при добавлении нового OSD в CEPH. После добавления новый OSD вся система становится нестабильной в плане соединения с ВМ. Многие ВМ падают с ошибкой "hung_task_timeout_secs" (см. изображение). Процесс ребалансировки занимает около 20 минут, но в это время хранилище практически недоступно для других операций. Возможно ли добавлять OSD с весом 0 и постепенно увеличивать вес, как советуется в "Argonaut (v0.48) Best Practices" по адресу: docs.ceph.com/docs/giant/rados/operations/add-or-rm-osds/? Что еще можно сделать?

Код:  
root@pve01:~# ceph status  
cluster bc865d82-2de0-439f-ae34-f14a565c023d  
health HEALTH_WARN  
  55 pgs backfill  
  22 pgs backfilling  
  8 pgs peering  
  11 pgs stuck inactive  
  92 pgs stuck unclean  
  33 requests заблокированы > 32 сек  
  recovery 96309/1702601 объектов размещены неправильно (5.657%)  
monmap e3: 3 mons на {0=172.16.0.1:6789/0,1=172.16.0.2:6789/0,2=172.16.0.3:6789/0}  
  election epoch 152, quorum 0,1,2 0,1,2  
osdmap e2573: 19 osd: 19 up, 19 in; 77 remapped pgs  
pgmap v12000981: 1088 pgs, 2 пула, 2076 ГБ данных, 537 тыс объектов  
  6460 ГБ занято, 28362 ГБ / 34823 ГБ доступно  
  96309/1702601 объектов размещены неправильно (5.657%)  
     996 active+clean  
     55 active+remapped+wait_backfill  
     22 active+remapped+backfilling  
      8 peering  
      7 activating  
recovery io 357 МБ/с, 90 объектов/с  
client io 2691 кБ/с чтение, 5328 кБ/с запись, 157 оп/с  

root@pve01:~#  
Версия PVE Manager: pve-manager/4.4-5/c43015a5  
Сеть кластера Ceph — через Infiniband. Сейчас у меня 20 OSD на 5 узлах, но с таким процессом мы хотим добавить еще 30 OSD, и это реальная проблема. Все новые OSD — SSD, а 12 старых — SATA.
22.02.2017 14:47:00, Charalampos Toulkaridis.]]> http://proxmox.su/forum/messages/forum63/message357801/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu http://proxmox.su/forum/messages/forum63/message357801/81499-ceph-osd-dobavlyaet-ogromnuyu-problemu Wed, 22 Feb 2017 14:47:00 +0300 Proxmox Виртуальная Среда