Аспро: ЛайтШоп [тема: Рассмотрим вопросы и лучшие практики для сети iSCSI.]

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 12 Jun 2025 08:16:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Огромное спасибо за твой отзыв. Поскольку наши коммутаторы поддерживают MLAG, мы перейдем на этот вариант. Думаю, два LACP с двумя физическими интерфейсами каждый и мультипатх – это оптимальное решение для нашей инфраструктуры.
12.06.2025 08:16:00, Schimmi.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Tue, 10 Jun 2025 14:34:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Лучшие практики для одного гипервизора редко напрямую переносятся на другой. Судя по нашей переписке, вы пытаетесь воссоздать функциональность привязки портов из ESXi, чтобы соответствовать ограничениям вашей текущей инфраструктуры. Чтобы это сделать, вам, вероятно, придётся отклониться от лучших практик Proxmox VE и вручную управлять подключениями iSCSI на хостах. Если вы пойдёте по этому пути, я настоятельно рекомендую провести тщательное тестирование и подробно задокументировать вашу конфигурацию. В общих чертах, вы можете рассмотреть подход, подобный следующему:

Код: cat /etc/network/interfaces

# iSCSI interface 1
auto iscsi0
iface iscsi0 inet static
address 192.168.100.101
netmask 255.255.255.0
mtu 9000

# iSCSI interface 2
auto iscsi1
iface iscsi1 inet static
address 192.168.100.102
netmask 255.255.255.0
mtu 9000

Discover target:
iscsiadm -m discovery -t sendtargets -p

Create binding:
iscsiadm -m iface -I iface0 -o new
iscsiadm -m iface -I iface0 -o update -n iface.net_ifacename -v iscsi0

iscsiadm -m iface -I iface1 -o new
iscsiadm -m iface -I iface1 -o update -n iface.net_ifacename -v iscsi1

Log in with binding:
# Session 1 on iscsi0
iscsiadm -m node -T -p -I iface0 --login

# Session 2 on iscsi1
iscsiadm -m node -T -p -I iface1 --login

Check session bindings with:
iscsiadm -m session -P 3

Этот подход не специфичен для Proxmox VE, он относится к общему управлению iSCSI в Linux. Возможно, я не учел некоторые дополнительные сложности или крайние случаи. Если вы работаете с производственными системами, убедитесь, что HPE и PVE поддерживают вашу конфигурацию, либо имейте надежного поставщика, который сможет вмешаться, когда это необходимо.

Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
10.06.2025 14:34:00, bbgeek17.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Tue, 10 Jun 2025 12:47:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
На самом деле, переключатели в нашей тестовой среде эту функцию не поддерживали. А вот в рабочей - поддерживают.
10.06.2025 12:47:00, Schimmi.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Tue, 10 Jun 2025 12:40:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
О, спасибо. Посмотрю. Звучит интересно.
10.06.2025 12:40:00, Schimmi.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Tue, 10 Jun 2025 08:46:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Почему так? Переключатели слишком старые что ли? MLAG – очень распространенная технология, и она доступна даже на бюджетных коммутаторах.
10.06.2025 08:46:00, LnxBil.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Tue, 10 Jun 2025 08:03:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Верно! На самом деле, наша VMware-среда подключена через 4 независимых порта в двух разных подсетях, которые объединены с помощью port-binding. Похоже, это какая-то особенность VMware. Создавать LACP-связи между двумя коммутаторами не получится. Создание Stack – плохая идея, потому что их нельзя перезагружать по отдельности. Лучший вариант – разделить каждую связь в отдельную подсеть. Но это реально сложно в работающей среде.
10.06.2025 08:03:00, Schimmi.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 05 Jun 2025 16:40:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Оригинал сообщил, что у них два независимых коммутатора top-of-rack. Это значит, что нет единой L2-области, которая позволила бы им объединить LACP-бонды между коммутаторами. Также, насколько я понимаю, у каждого хоста есть два порта, подключенных к каждому коммутатору. Вообще говоря, производители хранилищ рекомендуют использовать LACP для двух портов, подключенных к одному коммутатору, и независимый Subnet/VLAN для каждой бонды. В этой конфигурации потребуется Multipath. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox
05.06.2025 16:40:00, bbgeek17.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 05 Jun 2025 15:48:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
В конфигурации iSCSI рекомендуется использовать отдельные IP-подсети для каждого iSCSI-пути (как показано на схеме) вместо использования LACP (802.3ad). Можно посмотреть https://pve.proxmox.com/wiki/Multipath, чтобы узнать, как Proxmox VE рекомендует настраивать Multipath.

Код:
|-----------|CTL1 Port.1(192.168.10.10/24) -> VLAN 10[LAN-SW1] -> NIC.1|------------|
| iSCSI | | Proxmox VE |
| Storage | |(multipathd)|
|-----------|CTL2 Port.1(192.168.11.10/24) -> VLAN 11[LAN-SW2] -> NIC.2|------------|
05.06.2025 15:48:00, david_tao.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 05 Jun 2025 13:24:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Насколько я понимаю, под "группами портов" ты имеешь в виду LACP или объединение (bonding). Это должно работать на обоих коммутаторах, если они поддерживают объединение между собой. То же самое касается VLAN – должно работать через твои LACP-интерфейсы, потому что это более высокий уровень в модели OSI. VLAN не заботятся о том, через какой интерфейс они проходят. Это вообще не имеет отношения к iSCSI или мультипутингу, которые опять же находятся на другом уровне OSI. Мультипутинг полезен для подключения или отключения от нескольких отдельных сетевых интерфейсов (неважно, LACP или прямое подключение) с обеих сторон. Поэтому часто для трафика iSCSI можно обойтись без объединения нескольких интерфейсов. Другой трафик, не связанный с iSCSI, всё равно может выиграть от использования LACP/bonding.
05.06.2025 13:24:00, guruevi.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 05 Jun 2025 13:11:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Многопути не должны зависеть от этой истории с группами портов. Я пока плохо понимаю сетевую часть iSCSI с группами портов, но, должно быть, на узле PVE ты увидишь порталы как отдельные пути.
05.06.2025 13:11:00, LnxBil.

Рассмотрим вопросы и лучшие практики для сети iSCSI.

Thu, 05 Jun 2025 12:08:00 +0300

Рассмотрим вопросы и лучшие практики для сети iSCSI. Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Всем привет! Мы сейчас переходим с VMware на Proxmox. Используем HPE MSA iSCSI-хранилище. Наш трехузловой кластер подключен через два независимых SAN-коммутатора. Во VMware есть технология под названием port-binding, а в Proxmox возникли некоторые проблемы, так как у нас два независимых интерфейса в каждой подсети. Насколько я знаю, сейчас нет возможности настроить все iSCSI-интерфейсы в виде группы портов, которая могла бы использоваться с multipath. Я рассматривал возможность использования policy-based routing, но это вызывает проблемы, если один интерфейс выходит из строя, так как нет активного мониторинга для отмены таблиц маршрутизации и ip-правил. Cron-задача, проверяющая интерфейсы каждую секунду, кажется недостаточной в среде с производительностью 10 Гбит. Поэтому мы пытаемся использовать две пары LACP, что приводит к проблеме, что нам приходится привязывать каждый VLAN к разным коммутаторам. Третий вариант — настроить 4 разные подсети на обеих сторонах, что является большой нагрузкой, так как хранилище находится в рабочей среде. Итак, как вы решаете этот случай? Есть ли какие-нибудь best practices для такого сценария? В нашей тестовой среде мы настроили LACP и multipathing. Все работает отлично, но мне бы очень понравилось использовать что-то вроде port-binding, так как там больше гибкости и отказоустойчивости. С уважением, Schimmi.
05.06.2025 12:08:00, Schimmi.