Привет всем! Ищу советы по оптимальной конфигурации моего кластера PVE – буду очень благодарен за помощь! Мое текущее железо состоит из:
Ноды:
- 4 x MS-01 рабочие станции (Intel 13900H, 96GB RAM, 2TB NVMe, 2 x 2.5GBe, 2 x 10GBe)
Свитчи:
- TP-Link 5 порт (10GBe)
- Netgear 5 порт (1GBe)
- 2 x Cisco 24 порт (1GBe)
NAS:
- Synology RS2423RP+ (1GBe x 2, 10GBe, 12 HDDs – всего 18TB)
Дополнительное оборудование:
- 3 x Intel NUC (i5, 8GB RAM) – один работает PBS, с подключенным внешним SSD
- 4-байковая HDD-корпус
В данный момент я храню тома на NAS через NFS, хотя это, кажется, влияет на производительность и перегружает сеть. Хочу использовать HA / репликацию, хотя, кажется, для этого мне понадобится CEPH? Альтернативно, если я смогу сделать PBS не таким медленным с восстановлением (более 10 часов на восстановление 1TB Windows VM), то восстановление из PBS в случае сбоя тоже возможно.
Моя первоначальная мысль была подключить NAS напрямую к кластеру через порты 10GBe, чтобы он имел прямой доступ к образам VM, что было бы и производительно, и предотвратило бы узкое место в сети, хотя я мучился, пытаясь подключить NAS напрямую, и в итоге подключил его через роутер (что, конечно, убивает все преимущества 10GBe).
Какая конфигурация была бы наиболее оптимальной с моим текущим оборудованием? И стоит ли вообще пытаться хранить VM через NFS-шару, или лучше использовать локальное хранилище и в большем объеме использовать PBS после оптимизации того, как он связан?
Текущая топология:
Код:
- 4 MS-01 машины через 2.5GBe к Netgear (2.5GBe) (VLAN управления) и через 10GBe к TP-Link (10Gb) (все VLAN через trunk на Cisco switch)
- TP-link и Netgear соединены для доступа к маршрутизации
- Netgear подключен к Cisco Switch -> роутер
- NAS подключен к TP-Link (10GBe)
Результаты тестирования PBS:
Буду очень благодарен за любые советы!
Ноды:
- 4 x MS-01 рабочие станции (Intel 13900H, 96GB RAM, 2TB NVMe, 2 x 2.5GBe, 2 x 10GBe)
Свитчи:
- TP-Link 5 порт (10GBe)
- Netgear 5 порт (1GBe)
- 2 x Cisco 24 порт (1GBe)
NAS:
- Synology RS2423RP+ (1GBe x 2, 10GBe, 12 HDDs – всего 18TB)
Дополнительное оборудование:
- 3 x Intel NUC (i5, 8GB RAM) – один работает PBS, с подключенным внешним SSD
- 4-байковая HDD-корпус
В данный момент я храню тома на NAS через NFS, хотя это, кажется, влияет на производительность и перегружает сеть. Хочу использовать HA / репликацию, хотя, кажется, для этого мне понадобится CEPH? Альтернативно, если я смогу сделать PBS не таким медленным с восстановлением (более 10 часов на восстановление 1TB Windows VM), то восстановление из PBS в случае сбоя тоже возможно.
Моя первоначальная мысль была подключить NAS напрямую к кластеру через порты 10GBe, чтобы он имел прямой доступ к образам VM, что было бы и производительно, и предотвратило бы узкое место в сети, хотя я мучился, пытаясь подключить NAS напрямую, и в итоге подключил его через роутер (что, конечно, убивает все преимущества 10GBe).
Какая конфигурация была бы наиболее оптимальной с моим текущим оборудованием? И стоит ли вообще пытаться хранить VM через NFS-шару, или лучше использовать локальное хранилище и в большем объеме использовать PBS после оптимизации того, как он связан?
Текущая топология:
Код:
- 4 MS-01 машины через 2.5GBe к Netgear (2.5GBe) (VLAN управления) и через 10GBe к TP-Link (10Gb) (все VLAN через trunk на Cisco switch)
- TP-link и Netgear соединены для доступа к маршрутизации
- Netgear подключен к Cisco Switch -> роутер
- NAS подключен к TP-Link (10GBe)
Результаты тестирования PBS:
Буду очень благодарен за любые советы!
