Информация
Услуги
  • Внедрение
  • Настройка
  • Поддержка
  • Ремонт
Контакты
Оплата
Новости
Доставка
Загрузки
Форум
Настройка
    info@proxmox.su
    +7 (495) 320-70-49
    Заказать звонок
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Войти
    0 Сравнение
    0 Избранное
    0 Корзина
    Аспро: ЛайтШоп
    Телефоны
    +7 (495) 320-70-49
    Заказать звонок
    0
    0
    0
    Аспро: ЛайтШоп
    • +7 (495) 320-70-49
      • Назад
      • Телефоны
      • +7 (495) 320-70-49
      • Заказать звонок
    • info@proxmox.su
    • Москва, Бакунинская улица, 69с1
    • Пн-Пт: 09-00 до 18-00
      Сб-Вс: выходной
    • 0 Сравнение
    • 0 Избранное
    • 0 Корзина
    Главная
    Форум
    Proxmox Виртуальная Среда
    Hetzner vswitch и Proxmox

    Форумы: Proxmox Виртуальная Среда, Proxmox Backup Server, Proxmox Mail Gateway, Proxmox Datacenter Manager
    Поиск  Пользователи  Правила  Войти
    Страницы: 1
    RSS
    Hetzner vswitch и Proxmox, Proxmox Виртуальная Среда
     
    Petar Kozic
    Guest
    #1
    0
    06.11.2018 14:44:00
    Всем привет, у меня несколько выделенных серверов с Proxmox, все серверы находятся в Hetzner. На всех этих серверах я добавил дополнительную подсеть IP и DHCP (isc-dhcp), и всё работает. Сейчас хочу использовать Hetzner vswitch, потому что там можно добавить несколько IP-подсетей в одну VLAN. Но у меня проблемы с настройкой. Я делаю всё вручную, по инструкции Hetzner.

    На свежесозданном сервере с Proxmox по умолчанию такие настройки:

    ```
    ### Hetzner Online GmbH installimage

    source /etc/network/interfaces.d/*

    auto lo
    iface lo inet loopback
    iface lo inet6 loopback

    auto enp2s0
    iface enp2s0 inet static
     address 78.46.xxx.xxx
     netmask 255.255.xxx.xxx
     gateway 78.46.xxx.xxx
     #route 78.46.xxx.xxx via 78.46.xxx.xxx
     up route add -net 78.46.xxx.xxx netmask 255.255.xxx.xxx gw 78.46.xxx.xxx dev enp2s0

    iface enp2s0 inet6 static
     address 2a01:4f8:xxx:xxx::x
     netmask xx
     gateway fexx::1
    ```

    Далее, по инструкции Hetzner, нужно добавить подсеть на vswitch через их робот-интерфейс и назначить VLAN ID. Это сделано. Потом надо сделать следующее:

    Пример настройки для сетевой карты "enp0s31f6" с VLAN ID 4000. Создаем VLAN устройство:

    ```
    ip link add link enp0s31f6 name enp0s31f6.4000 type vlan id 4000
    ip link set enp0s31f6.4000 mtu 1400
    ip link set dev enp0s31f6.4000 up
    ```

    Настраиваем IP-адрес 192.168.100.1 из приватной подсети 192.168.100.0/24:

    ```
    ip addr add 192.168.100.1/24 brd 192.168.100.255 dev enp0s31f6.4000
    ```

    Для публичной подсети нужно создать дополнительную таблицу маршрутизации, чтобы назначить другой шлюз по умолчанию. Пример конфигурации для IP 213.239.252.50 из публичной подсети 213.239.252.48/29, интерфейс enp0s31f6.4000:

    ```
    echo "1 vswitch" >> /etc/iproute2/rt_tables
    ip addr add 213.239.252.50/29 dev enp0s31f6.4000
    ip rule add from 213.239.252.50 lookup vswitch
    ip rule add to 213.239.252.50 lookup vswitch
    ip route add default via 213.239.252.49 dev enp0s31f6.4000 table vswitch
    ```

    Пример конфигурации Debian. Интерфейс enp0s31f6, VLAN 4000, приватная сеть:

    ```
    # /etc/network/interfaces
    auto enp0s31f6.4000
    iface enp0s31f6.4000 inet static
     address 192.168.100.1
     netmask 255.255.255.0
     vlan-raw-device enp0s31f6
     mtu 1400
    ```

    Когда я сделал так, то просто добавил интерфейс vmbr0:

    ```
    auto vmbr0
    iface vmbr0 inet static
     address 192.168.100.2
     netmask 255.255.255.0
     bridge_ports enp2s0.4000
     bridge_stp off
     bridge_fd 0
    ```

    Когда я создаю и ставлю Ubuntu на Proxmox и назначаю этому IP (это из инструкции, пример IP, не реальный) 213.239.252.50 – я могу пинговать всё, но не могу выполнить apt-get update или curl. DNS разрешает имена, но трафик не проходит.

    Когда я делаю traceroute с моего компьютера до 213.239.252.50, он проходит без проблем. Когда пытаюсь зайти по ssh, то подключаюсь и вхожу в систему, но если пытаюсь что-то делать, например запустить top или ps aux, все зависает и ничего не отвечает.
     
     
     
    DerDanilo
    Guest
    #2
    0
    21.11.2018 15:59:00
    Вчера как раз протестировал, и теперь можно запускать один кластер PVE сразу в нескольких дата-центрах, при этом стабильность такая же, как в самой сети. Уже перевел один крупный проект клиента и избавился от tinc, чтобы наконец убрать этот лишний груз. Данные летят намного быстрее. Круто. Если кому-то нужна помощь с этим — пишите в личку.
     
     
     
    tirili
    Guest
    #3
    0
    21.11.2018 18:22:00
    У тебя есть решение для https://forum.proxmox.com/threads/pvecm-addnode-via-ssh.47596/#post-224904? И как мне отправить тебе личное сообщение? Я пытался подключить узлы кластера через VLAN-интерфейс Hetzner...
     
     
     
    Iain Stott
    Guest
    #4
    0
    24.11.2018 11:32:00
    У меня настроен кластер Proxmox на Hetzner в трёх дата-центрах через их VLAN. Если нужна помощь с настройкой — обращайся. У меня на узле 1 есть /29, весь трафик проходит через Opnsense FW на узле 1, а затем обратно по VLAN к другим гостям в приватной VLAN. Чтобы всё заработало, я отредактировал файл /usr/share/perl5/PVE/QemuServer.pm, нашёл блок конфигурации sub print_netdevice_full { и добавил строку $tmpstr .= ",host_mtu=1400" if $net->{model} eq 'virtio'; под строкой $tmpstr .= ",bootindex=$net->{bootindex}" if $net->{bootindex} ; затем перезагрузил хост и все ВМ, после чего у них стал установлен MTU 1400.
     
     
     
    DerDanilo
    Guest
    #5
    0
    27.11.2018 10:00:00
    Это изменение может быть отменено в следующем обновлении. Я меняю MTU для каждой сетевой карты на каждой ВМ, и это работает отлично. Ты готов мириться с единой точкой отказа? Можно использовать дополнительные подсети через vswitch, что дает гораздо больше гибкости.
     
     
     
    rsmvdl
    Guest
    #6
    0
    13.11.2019 01:10:00
    На самом деле самый простой способ добавить VLAN-основанную публичную маршрутизируемую подсеть, например /28, которую вы можете дополнительно купить для своего vSwitch, — это вот такие строки:

    Code:  
    auto lo  
    iface lo inet loopback  
    iface lo inet6 loopback  

    auto enp35s0  
    iface enp35s0 inet static  
      address xxx.xxx.xxx.xxx  
      netmask xxx.xxx.xxx.xxx  
      gateway xxx.xxx.xxx.xxx  
      up route add -net xxx.xxx.xxx.xxx netmask xxx.xxx.xxx.xxx gw xxx.xxx.xxx.xxx dev enp35s0  

    iface enp35s0 inet6 static  
     address xxxx:xxxx:xxxx::xx  
     netmask 64  
     gateway fe80::1  

    iface enp35s0.4000 inet manual  
     vlan-raw-device enp35s0  
     mtu 1400  

    auto vmbr0  
    iface vmbr0 inet static  
     address 10.10.10.1  
     netmask 255.255.255.0  
     bridge_ports enp35s0.4000  
      bridge_stp off  
      bridge_fd 0  

    Мне не нужны никакие замороченные дополнительные маршруты или что-то в этом роде, и теперь я могу спокойно делиться этой выделенной подсетью с другими машинами Hetzner или даже с кластером, без дополнительной настройки маршрутизации.  

    Обязательно поменяйте VLAN Tag (4000), чтобы он соответствовал вашим требованиям. В качестве шлюза для вашей VM/LXC используйте шлюз подсети, а не шлюз физического хоста — иначе не сработает.  

    Если меняете IP у виртуальной машины или контейнера, либо добавляете новый, может пройти от 1 до 5 минут, прежде чем машина станет корректно доступна и пройдет маршрутизацию. Думаю, это связано с MAC-адресом и ARP-кешем функции vSwitch у Hetzner…  

    Надеюсь, кому-то это поможет.
     
     
     
    DerDanilo
    Guest
    #7
    0
    13.11.2019 07:27:00
    MTU для сетей vswitch составляет 1400.
     
     
     
    rsmvdl
    Guest
    #8
    0
    13.11.2019 09:30:00
    Моя ошибка, извиняюсь и спасибо за подсказку ^^
     
     
     
    reflect
    Guest
    #9
    0
    13.11.2019 21:34:00
    Я планирую сделать что-то похожее на то, что сделал Iain Stott, но хочу избежать той самой единой точки отказа, о которой ты тоже упоминал. Я быстро набросал, как эту проблему можно было бы решить для моей конкретной конфигурации. (3 физических сервера, работающих в кластере Proxmox, у каждого по 2 сетевых интерфейса, чтобы серверы могли общаться по приватной сети с меньшей задержкой)



    Однако я не совсем уверен, что HA pfSense будет работать так на Hetzner, ведь оно зависит от CARP виртуальных IP-адресов, а, насколько я знаю, это невозможно реализовать через vSwitch у Hetzner (?). Единственный другой вариант — это Failover-IP/подсети, но мне кажется, что они не так гибки, как настройка через vSwitch. Случайно не делал ты такой конфигурации на инфраструктуре Hetzner?
     
     
     
    rsmvdl
    Guest
    #10
    0
    13.11.2019 22:23:00
    Чтобы прояснить ситуацию. В целом, не лучшая идея запускать публичный трафик, Corosync, приватную сеть ВМ и так далее — всё это на одном физическом сетевом интерфейсе с VLAN, потому что это может приводить к тайм-аутам, срывам при высокой нагрузке и другим неприятным эффектам. Если у вас есть примерно 30-40 € лишних, можно настроить собственный выделенный 1 Гбит/с физический коммутатор у Hetzner. Этот коммутатор полностью вне зоны действия vSwitch от Hetzner, цены тут: https://wiki.hetzner.de/index.php/Root_Server_Hardware#Sonstiges

    Вам понадобится:  
    3x NIC.  
    3x LAN-подключение.  
    1x коммутатор (5-8 портов, почему-то здесь по одной цене).  
    (10 Гбит тоже доступно, но учтите, что на каждый сервер можно поставить только одну дополнительную сетевую плату или PCIe-карту).

    Кстати, судя по вашей настройке, похоже, вы хотите иметь два рабочих сервера ProxMox и один управляющий узел, верно? Ваша LAN-схема выглядит так, будто одна из машин не входит в HA-кластер. Возможно, лучше будет сделать так:

    - Выделить отдельный NIC/коммутатор только для ProxMox, Corosync и управления миграцией. Именно здесь происходит вся магия HA.  
    - Публичную сеть настроить через vSwitch с дополнительной подсетью IPv4 исключительно для ваших виртуальных машин, как я уже описывал выше.  
    - Настроить OVSwitch с ipsec-шифрованием и общим секретом на всех трёх нодах для нормальной связи между ВМ. Этот OVSwitch может быть «VLAN»-совместимым, что даёт вам гораздо больше гибкости для разделения виртуальной инфраструктуры на независимые сетевые сегменты.  

    Дальше — решать вам, хотите ли вы использовать этот OVSwitch на выделенном NIC или на дополнительном vSwitch от Hetzner с трафиком всего 1 ТиБ в месяц. Лично я бы не стал использовать vSwitch от Hetzner для служб ProxMox Corosync, потому что не уверен, насколько безупречно там работает Anycast, а Proxmox HA для работы требует именно Anycast, ведь Corosync всё своё общение передаёт через него.

    Раньше у меня был «HA» кластер из двух узлов без нормального кворума на сети Multicast — сплошная головная боль, но, тем не менее, он работал…
     
     
     
    reflect
    Guest
    #11
    0
    17.11.2019 15:30:00
    Извиняюсь за поздний ответ, видимо, моя схема была не совсем понятна, прошу прощения.

    1. Все три мои узла — часть кластера Proxmox, но pfSense-файрволл будет запущен только на двух из них. pfSense на node1 — «мастер» файрволл, а pfSense на node2 — резервный, который берет на себя работу, если node1 упадёт. Я решил делать только два, потому что все примеры, которые я нашёл в интернете, используют именно два pfSense для HA (раньше ни разу не настраивал HA), поэтому подумал, что так будет проще — ориентироваться на проверенные решения.

    2. Коммутатор, нарисованный над серверами («private switch»), — это реальный физический свитч, напрямую подключённый к трём узлам (на отдельном сетевом интерфейсе). Как ты и сказал, corosync будет общаться через эту приватную сеть. Но я планирую сделать внутреннюю сеть для виртуальных машин через Hetzner vSwitches, потому что, согласно wiki Proxmox, рекомендуется выделять отдельную сеть для corosync, чтобы не перегружать её внутренними сетями ВМ.

    3. Ты писал: «Решать тебе, использовать ли этот OVSwitch на выделенном NIC или дополнительном vSwitch от Hetzner». Я уже пробовал работать с VLAN на приватном свитче, но безуспешно. Похоже, что свитч от Hetzner не умеет работать с VLAN-тегированными пакетами? Ты как-нибудь подключал vlan_aware бридж к приватному свитчу?

    4. Если не сложно, скажи, какой файрволл ты использовал для своего HA? И как организовывал failover? Есть ли какие-то нюансы, которые стоит знать новичку?

    Большое спасибо за помощь!

    P.S. Раз уж я явно новичок, хочу сразу уточнить, что делаю эту настройку не для клиента или кого-то ещё. Просто решил научиться виртуализации и высокой доступности в свободное время. Мне удобнее учиться на практике, а начинать надо с чего-то.
     
     
     
    Razva
    Guest
    #12
    0
    22.06.2020 08:17:00
    Если не трудно, не мог бы ты на это глянуть? Я тут немного застрял... :( Спасибо!
     
     
     
    Страницы: 1
    Читают тему
    +7 (495) 320-70-49
    info@proxmox.su

    Конфиденциальность Оферта
    © 2026 Proxmox.su
    Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры