+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Поддержка кластеризации Windows для отказоустойчивости., Proxmox Виртуальная Среда

khblenk

Guest

05.02.2024 10:56:00

Пытаюсь установить Failover Cluster Windows Server 2022 в своей среде Proxmox для дополнительной защиты от сбоев операционной системы и для возможности проведения rolling updates для SQL Server. Использую Fibre Channel SAN, LUN-ы представлены на хосте Proxmox. LUN-ы смонтированы в гостевых системах следующим образом (например): Code: scsi2: /dev/mapper/sqlcluster-quorum,cache=none,shared=1,aio=native,discard=on,serial=QM000000005
scsihw: virtio-scsi-pci К сожалению, Windows не принимает диски с сообщением (перевод с немецкого): Физический диск... не поддерживает Query Data (VPD Descriptor согласно SCSI Page 83h), необходимый для Failover Clustering. Статус: Запрос не поддерживается. Qemu drivers и guest tools установлены на Windows. Есть ли какие-то настройки, которые можно изменить для поддержки VPD? Есть ли альтернативные методы интеграции (помимо iSCSI), например, виртуальные WWN?

f.cuseo Guest	#2 0 15.03.2024 14:26:00 Привет. Нашёл какое-нибудь решение этой проблемы? P.S. Мне тоже нужно сделать то же самое, но с Ceph и без FC SAN.

khblenk Guest	#3 0 16.03.2024 13:30:00 Нет, мы приостановили этот проект, потому что, к сожалению, мы пока не нашли решения.

thintz3112

Guest

13.05.2024 16:46:00

Думаю, это основной вопрос. Как нужно создать/настроить "общий" диск в конфигурации ВМ? Я полный новичок в Proxmox и только что пытался использовать VirtIO SCSI с разными форматами и настройками, но хранилище не отображается в Windows Failover Cluster Manager.

f.cuseo Guest	#5 0 20.05.2024 10:21:00 Никаких разъяснений?

bbgeek17

Guest

18.03.2024 19:38:00

Привет, khblenk. Страница 0x83 Vital Product Data (VPD) (т.е., VPD) — это страница "Идентификация устройства" (см. спецификацию SCSI Primary Commands). Это таблица, содержащая дескрипторы, описывающие SCSI-устройство и транспортные протоколы, применяемые к логическому блоку. Базовая поддержка VPD не дает поддержку для Windows Failover Clusters. Следующим препятствием будет поддержка постоянных резервирований, что требует строгого управления привязками идентификаторов портов инициатора. Отметим, что QEMU обладает достаточной функциональностью для полноценного проброса. Если вы используете SCSI-совместимое хранилище, установка Windows 2022 Failover Cluster и прохождение проверки хранилища возможно. Как один факт, всё работает без проблем с Proxmox на Blockbridge (используются пути к необработанным устройствам). Однако, мы по-прежнему поддерживаем iSCSI, что значительно упрощает задачу. Не уверен, как можно легко заставить FC-хранилище работать в этом приложении. Управление комбинацией FC, многопутейности и постоянных резервирований — сложная задача. @ f.cuseo Windows Failover Clusters требуют надежной поддержки SCSI постоянных резервирований: CEPH, NFS и LVM не подходят. Эмулируемая поддержка резервирования может быть вариантом в некоторых случаях (возможно, используя прекращенный CEPH iSCSI Gateway). Однако, учитывая сложность и риск, я бы действовал с крайней осторожностью.

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

emunt6 Guest	#7 0 18.03.2024 22:04:00 Привет! Попробуй заменить контроллер диска (scsihw) на стандартный (LSI...), и не используй "discard=on" для дисков, заработает. И я бы не рекомендовал использовать какую-либо эмуляцию virtio-* для Windows.

f.cuseo

Guest

19.03.2024 18:53:00

Спасибо за поддержку. Мы сами напрямую кластер Windows Failover не используем, но нам нужно настроить кластер для одного из наших клиентов. Посмотрю, что можно сделать с Blockbridge, но не знаю, получится ли добавить стоимость серверов и лицензий. Нам нужно меньше 8 терабайт полезного пространства, но с максимальной доступностью, и было бы здорово, если бы мы могли бэкапить все Windows VM с помощью PBS.

bbgeek17

Guest

19.03.2024 19:43:00

Понял. Для уточнения, я говорил о запуске вложенного Windows Failover cluster внутри PVE. @emunt6 Спасибо за вклад. Однако, вопрос был задан по Windows Server 2022. Судя по всему, Windows больше не поддерживает драйвера для старых контроллеров LSI. Мы рассмотрели это в нашей серии технических заметок о Windows 2022 server: https://kb.blockbridge.com/technote...part-1.html#windows-server-2022-driver-status Обратите внимание, что эта техническая серия также охватывает важность производительности и эффективности Virtio. Я не могу подтвердить корректность или полноту SCSI passthrough на этих старых контроллерах. В любом случае, OP должен быть уверен в управлении SCSI initiator identities, используемыми для постоянных резервирований, поскольку они необходимы для корректности и целостности. И последнее, стоит уточнить, что тест проверки соответствия Windows cluster, упомянутый в моем первоначальном ответе, был запущен с virtio-scsi. Так что мы можем подтвердить, что это работает! Blockbridge: Ultra low latency all-NVME shared storage для Proxmox - https://www.blockbridge.com/proxmox

emunt6

Guest

#10

04.05.2024 11:33:00

Есть ещё один вариант: "VIRTIO-DISK(scsi) + Virtual-Disk(VDHX) + Microsoft SQL Cluster". Основной диск ВМ virtio-based scsi, потом добавляется VHDX-диск-образ сверху, и этот виртуальный диск используется как диск кластера. (diskmanager > Action > Create VHD > VHDX)

– Устанавливать роль "HyperV" не нужно. VHDX-образ можно изменять размером с помощью diskpart:
Code: diskpart
select vdisk file="Z:\Disk.vhdx"
expand vdisk maximum=<размер в МБ>
list volume
select volume <номер>
extend
exit. Это решение обходит проблему "SCSI-3 Persistent Reservation" в Qemu, которой там не хватает, но требует наличия MS SQL.

bbgeek17

Guest

#11

04.05.2024 15:18:00

Если я правильно понял твой пост, то эта конфигурация переводит твой HA в приложение (SQL). Во многих случаях это лучший подход, особенно если приложение изначально поддерживает эту функциональность. Удачи, Blockbridge! Ультра-низкая задержка, общая память на базе NVMe для Proxmox - https://www.blockbridge.com/proxmox

f.cuseo Guest	#12 0 05.05.2024 13:58:00 Просто вопрос: на каком "физическом" диске вы создаете образ VHDX? Если у вас два разных Windows Server, вам нужен общий сетевой диск?

thintz3112

Guest

#13

29.05.2024 09:52:00

На VMware просто создать общий диск для создания среды для Microsoft Failover Cluster. Просто создайте vmdk (Diskfile) с Thick provision и добавьте SCSI Controller типа "VMware Paravirtual" к обоим VM, которые вы хотите использовать для кластера, и подключите созданный вами на предыдущем шаге диск к этому контроллеру. Установите опцию "Shared Usage" в "Virtual" и всё готово. Было бы здорово, если бы для Proxmox было похожее решение. Я знаю, что это не настоящее решение для продуктивной среды, но это позволяет, например, обновлять Windows сервера и перезагружать один из них без прерывания работы сервисов.

f.cuseo Guest	#14 0 26.06.2024 09:28:00 Привет, emunt6. Можешь, пожалуйста, подробнее рассказать обо всех этапах и скажи, можно ли это использовать в продакшене?

masato Guest	#15 0 05.06.2025 13:28:00 Если добавить флаг SSD к SATA и IDE HDD, они будут распознаваться как диски S2D. Виртуальный SCSI-контроллер HyperV поддерживает SCSI Page 83h. VMWare's VMSCSI этого не поддерживает, как и Virt-SCSI.

aslopez_irontec

Guest

#16

23.06.2025 16:46:00

Привет! Мы решили эту проблему у одного из наших клиентов с помощью следующей конфигурации. Машину импортировали из VMware Cluster. SATA позволяет подключить только 6 дисков к машине.

Код:
agent: 1
bios: seabios
boot: order=virtio0
cores: 4
cpu: x86-64-v2-AES
machine: pc-i440fx-9.2+pve1
memory: 32768
meta: creation-qemu=9.2.0,ctime=1750332851
net0: virtio=00:50:56:a3:29:1b,bridge=vlan303
net1: virtio=00:50:56:a3:6b:72,bridge=vlan27
ostype: win11
scsi0: pool-vms:vm-110-disk-1,cache=writeback,size=400G,ssd=1,serial=110-disk1
scsi1: pool-vms:vm-110-disk-2,cache=writeback,size=800G,ssd=1,serial=110-disk2
scsi2: pool-vms:vm-110-disk-3,cache=writeback,size=400G,ssd=1,serial=110-disk3
scsi3: pool-vms:vm-110-disk-4,cache=writeback,size=400G,ssd=1,serial=110-disk4
scsi4: pool-vms:vm-110-disk-5,cache=writeback,size=400G,ssd=1,serial=110-disk5
scsi5: pool-vms:vm-110-disk-6,cache=writeback,size=400G,ssd=1,serial=110-disk6
scsi6: pool-vms:vm-110-disk-7,cache=writeback,size=300G,ssd=1,serial=110-disk7
scsi7: pool-vms:vm-110-disk-8,cache=writeback,size=400G,ssd=1,serial=110-disk8
scsi8: pool-vms:vm-110-disk-9,cache=writeback,size=400G,ssd=1,serial=110-disk9
scsi9: pool-vms:vm-110-disk-10,cache=writeback,size=400G,ssd=1,serial=110-disk10
scsihw: virtio-scsi-single
smbios1: uuid=421eda8e-f122-9995-1619-bf37de0d7a7a
snaptime: 1750685498
sockets: 1
vga: virtio
virtio0: pool-vms:vm-110-disk-0,cache=writeback,iothread=1,size=120G,serial=system

С наилучшими пожеланиями!

masato

Guest

#17

28.06.2025 15:59:00

Я собрал окружение 440FX-9.2-pve, SeaBIOS и virtio-scsi-single и запустил тестовую сборку кластера, но получил ту же ошибку, так что похоже, что единственный способ создать новый кластер в PVE — использовать SATA+IDE. Если это будет работать при импорте, будет ли всё в порядке, если я заменю HDD SATA+IDE на SCSI HDD?

aslopez_irontec

Guest

#18

30.06.2025 08:50:00

Нужно вручную указать серийный номер диска с шиной SCSI. Перейдите в /etc/pve/nodes/(node_where_vm_is)/qemu-servers/(vm_id).conf и установите для SCSI-диска серийный номер со значением. Код: scsi6: pool-vms:vm-110-disk-7,cache=writeback,size=300G,ssd=1,serial=110-disk7. Если машина включена, её нужно остановить или выключить.

masato Guest	#19 0 30.06.2025 14:18:00 Я ввёл серийные номера. Когда запускаю команду test-cluster на Windows 2025, чтобы проверить создание кластера, не удается включить S2D из-за ошибки VPD.

masato Guest	#20 0 30.06.2025 14:20:00 Работает даже если включён S2D, при этом он остаётся SATA и IDE, а затем меняется на SCSI HDD. Но я не знаю, заработает ли это, если поменять жёсткие диски.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры