+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

HA кластер на двух нодах с qDevice + CEPH: не работает HA. Почему?, Proxmox Виртуальная Среда

cybermod

Guest

28.03.2024 15:22:00

Привет всем! Я здесь, потому что думаю, что что-то важное упускаю. Прочитал и посмотрел кучу гайдов и видео, но не могу заставить HA работать, когда "убиваю" один из двух узлов. Кворум соблюдается, я установил минимальное количество ответов. Но при этом получаю ошибку, которую не могу понять. Может, просто не понимаю основ? Спасибо.

aaron

Guest

28.03.2024 15:27:00

Помогло бы, если бы вы сообщили, какая именно ошибка произошла. Сколько у вас Ceph MON? Ceph также требует кворума на MON (подобно PVE), поэтому необходимо, чтобы присутствовало большинство MON. В 2-узловом кластере... Одна из причин, почему Ceph полезен только при наличии как минимум 3 полных узла!

cybermod

Guest

28.03.2024 15:59:00

Дорогой, спасибо за ответ! Моя конфигурация такова: 2 узла + qDevice на Ubuntu Server 22.04. У меня два монитора… Так что… я не могу использовать CEPH для высокой доступности (HA), потому что у меня не 3 полноценных узла, а только 2 полноценных узла + 1 qDevice… Я в замешательстве… В чем смысл использования qDevice? Могу ли я получить HA на 2 узлах? Возможно… Мне нужно общее внешнее хранилище (вроде NAS) и как в VMware.

ОШИБКА ЗАДАНИЯ: запуск не удался: команда '/usr/bin/kvm -id 100 -name 'ubusrvHAlabtest,debug-threads=on' -no-shutdown -chardev 'socket,id=qmp,path=/var/run/qemu-server/100.qmp,server=on,wait=off' -mon 'chardev=qmp,mode=control' -chardev 'socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5' -mon 'chardev=qmp-event,mode=control' -pidfile /var/run/qemu-server/100.pid -daemonize -smbios 'type=1,uuid=f0349f09-e1c4-47ef-a938-5c15b2464175' -smp '4,sockets=1,cores=4,maxcpus=4' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vnc 'unix:/var/run/qemu-server/100.vnc,password=on' -cpu qemu64,+aes,enforce,+kvm_pv_eoi,+kvm_pv_unhalt,+pni,+popcnt,+sse4.1,+sse4.2,+ssse3 -m 2048 -object 'iothread,id=iothread-virtioscsi0' -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' -device 'pci-bridge,id=pci.3,chassis_nr=3,bus=pci.0,addr=0x5' -device 'vmgenid,guid=39c0cf2e-d3c2-413a-84f4-cfee196311df' -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' -device 'VGA,id=vga,bus=pci.0,addr=0x2' -chardev 'socket,path=/var/run/qemu-server/100.qga,server=on,wait=off,id=qga0' -device 'virtio-serial,id=qga0,bus=pci.0,addr=0x8' -device 'virtserialport,chardev=qga0,name=org.qemu.guest_agent.0' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3,free-page-reporting=on' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:8cdf10601a72' -drive 'if=none,id=drive-ide2,media=cdrom,aio=io_uring' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=101' -device 'virtio-scsi-pci,id=virtioscsi0,bus=pci.3,addr=0x1,iothread=iothread-virtioscsi0' -drive 'file=rbd:ceph01/vm-100-disk-0:conf=/etc/pve/ceph.conf:id=admin:keyring=/etc/pve/priv/ceph/ceph01.keyring,if=none,id=drive-scsi0,format=raw,cache=none,aio=io_uring,detect-zeroes=on' -device 'scsi-hd,bus=virtioscsi0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' -netdev 'type=tap,id=net0,ifname=tap100i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=BC:24:11:9C:33:41,netdev=net0,bus=pci.0,addr=0x12,id=net0,rx_queue_size=1024,tx_queue_size=256,bootindex=102' -machine 'type=pc+pve0'' failed: got timeout

Azunai333

Guest

28.03.2024 16:41:00

Вам нужен кворум для кластера PVE, вот тут-то можно использовать qdevice. Ceph нуждается в отдельном, собственном кворуме. Ceph мониторы - это избиратели в данном случае. Так что, в данный момент у вас есть кворумный кластер PVE (2/3), но Ceph его не имеет (1/2).

aaron

Guest

28.03.2024 16:41:00

Конечно, но только не с Ceph. Либо используйте сетевую папку, либо, как вариант, локальный ZFS + функцию репликации гостя. Недостаток подхода ZFS + Репликация в том, что он асинхронный. В худшем случае вы можете потерять какие-то данные (с момента последней успешной репликации). Хотя можно настроить репликацию даже каждую минуту.

cybermod Guest	#6 0 28.03.2024 21:42:00 Спасибо, я попробовал и теперь чувствую себя увереннее. Спасибо за разъяснения, мне это очень пригодилось.

Gilberto Ferreira Guest	#7 0 20.08.2024 18:13:00 Можно использовать GlusterFS. У меня много клиентов с двухузловой конфигурацией на GlusterFS. PVT для более подробной информации.

cybermod Guest	#8 0 10.09.2024 12:34:00 Привет, Гильберто! Извини за задержку с ответом. Итак, ты говоришь использовать GlusterFS? GlusterFS – это внешнее хранилище? Ой, извини, написал тебе.

kotakomputer Guest	#9 0 25.05.2025 22:18:00 Есть что-то вроде QDevice для Ceph?

LnxBil Guest	#10 0 26.05.2025 08:12:00 Нет, 3 узла – это абсолютный технический минимум, лучше 5 узлов.

Johannes S Guest	#11 0 26.05.2025 08:17:00 Ну, можно добавить ещё один узел в кластер только для кворума (без ВМ и без хранилища). Хорошая это идея или нет — не знаю, может, Ceph-эксперты здесь что-нибудь скажут? P.S. Всё равно понадобятся как минимум три узла для хранилища, моё предложение больше для случаев, когда у тебя, например, несколько узлов для форума, и ты хочешь избежать сценария "разделенного мозга". Всё ещё не уверен, действительно ли это хорошая идея.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры