Аспро: ЛайтШоп [тема: Proxmox с хранилищем iSCSI Equallogic SAN]

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 21 Jun 2021 18:26:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
57810S поддерживает NPAR, лучший вариант — использовать его в вашей среде. Вы сможете разделить iSCSI и LAN, используя виртуальные порты. Просто установите внутренние порты MXL для хостов в "trunk mode", задайте всем VLAN-ам, которые вы используете на этих портах, теги и используйте два виртуальных порта NPAR (по одному с каждой стороны MXL "A1 и A2"), чтобы создать интерфейсы iSCSI и LAN, используя VLAN dot1q на хостах, и все будет хорошо!
21.06.2021 18:26:00, DANILO MONTAGNA.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 21 Jun 2021 17:07:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас одинаковые сетевые карты Qlogic 57810S в 9 узлах и 2 узла с Intel 4P X710-k. Так что каждый порт на одном интерфейсе (4 виртуальных порта) подключен к одному 10Gbit порту на MXL, каждый виртуальный интерфейс имеет одинаковую конфигурацию VLAN со стороны коммутатора. Я предполагаю, что поддержки для агрегации, такой как LACP в конфигурации NPAR (для мостов ВМ), нет. Очень интересно. Я пытался сделать какую-то настройку DCBx, но у нас всего один EQL хранилище, так что думаю, что в этом нет необходимости. Но NPAR выглядит как неплохая функция, спасибо за совет.
21.06.2021 17:07:00, xPakrikx.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 21 Jun 2021 15:38:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не поддерживают ли ваши сетевые карты разделение на виртуальные ники? Проверьте это! Мы также используем M1000E, а наши сетевые карты — Qlogic 57810S, которые поддерживают разделение, вы можете выделить 8 виртуальных ников для хост-операционной системы вместо двух физических.
21.06.2021 15:38:00, DANILO MONTAGNA.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 21 Jun 2021 15:18:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы используем Jumbo-фреймы, но у нас нет возможности использовать отдельные физические NIC для iSCSI. Серверы находятся в блейд-шасси (Dell m1000e), так что у нас только 2x10Gbit на каждый сервер (коммутатор в m1000e — это 2x Dell MXL в конфигурации стека). Поэтому мы используем LACP-агрикацию. Для iSCSI выделен VLAN 2 поверх этого агрегации. Спасибо за помощь, я попробую оптимизировать порты на тестовом узле.
21.06.2021 15:18:00, xPakrikx.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 21 Jun 2021 14:25:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы отключили LRO/GRO только на интерфейсах iscsi!!! и используем MTU 9000 на этих интерфейсах!!! Мосты/vlan используют MTU по умолчанию. Чтобы проверить, наследуются ли опции, вы можете использовать ethtool для верификации!!
21.06.2021 14:25:00, DANILO MONTAGNA.

Proxmox с хранилищем iSCSI Equallogic SAN

Sun, 20 Jun 2021 16:03:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Еще один вопрос об оптимизации интерфейса. Вы отключили LRO/GRO только на физических интерфейсах или на linux-бриджах/vlan тоже? Я не знаю, можно ли унаследовать настройки. Моя сетевая топология на узлах proxmox для iSCSI — 2x10gbit<--->bond0<--->bond0.2 (то есть iSCSI находится в vlan 2 и подключен через bond0). Большое спасибо!
20.06.2021 16:03:00, xPakrikx.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 14 Jun 2021 18:22:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
EQL работает как контроллер переключения активного/резервного канала, также в прошивке предусмотрена вертикальная функция переключения портов в случае отключения свитча... групповой IP-адрес iscsi является центральной точкой подключения для правильной настройки... не подключайтесь напрямую к IP-адресу порта контроллера. Я использую групповой IP для multipathd, на каждом интерфейсе iscsi вы используете групповой IP, пути распределяются по принципу кругового выбора с помощью multipathd, даже с одним групповым IP драйвер multipathd знает, как подключить каждый путь к разному порту iscsi iface, не переживайте об этом, конечно, если вы правильно настроили multipathd для этой конфигурации! Метод агрегации не является рекомендуемым способом, но он работает аналогично, однако вы будете видеть только один путь от EQL. Ваше переключение будет зависеть от сетевой карты, а не от пути EQL... Но при использовании этой конфигурации я бы не рекомендовал использовать LACP, это не поддерживается iscsi и может вызвать отрицательные эффекты... просто используйте агрегацию активный/резервный (режим 1) без LACP (802.1ad). Если вы отключите контроллер EQL, ничего не произойдет, ГРУППОВОЙ IP будет перенесён на нижний/верхний контроллер... и путь будет восстановлен, это прозрачно с точки зрения хоста, вам нужно только правильно подключить кабели как на стороне хоста, так и на стороне контроллера на основных свитчах!!! И всё, можете работать! С уважением,
14.06.2021 18:22:00, DANILO MONTAGNA.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 14 Jun 2021 17:12:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Но я предполагаю, что это только на стороне сервера. Значит, вы используете групповый IP для обоих путей? У меня только один интерфейс (LACP-связка из 2х10Gbit) на серверах... Но я действительно не понимаю, как работает переключение на EQL с групповым IP. Если я отключу один порт на EQL, что может произойти? Будет ли простое время? Документация Dell действительно плохая для продуктов EQL...
14.06.2021 17:12:00, xPakrikx.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 14 Jun 2021 16:43:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, с multipath.. Я использую multipath!!
14.06.2021 16:43:00, DANILO MONTAGNA.

Proxmox с хранилищем iSCSI Equallogic SAN

Mon, 14 Jun 2021 15:26:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Как ты смог соединить Proxmox и EQL? Используешь мультипуть? Большое спасибо за помощь!
14.06.2021 15:26:00, xPakrikx.

Proxmox с хранилищем iSCSI Equallogic SAN

Tue, 30 Jun 2020 19:59:00 +0300

Proxmox с хранилищем iSCSI Equallogic SAN Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, я настроил окружение с Proxmox 6 и iSCSI Equallogic (DELL). Этот тип хранения требует некоторых модификаций TCP, чтобы правильно работать с мультипутевым доступом. Одна из необходимых функций для улучшения производительности iSCSI на этом хранилище — это "Отключить DelayACKs" на хостах, подключенных к хранилищу. Не могу найти в Proxmox, где именно можно отключить delay_acks в Linux (/proc/sys/net/ipv4/tcp_quickack) или (/proc/sys/net/ipv4/tcp_nodelay)... Без этого мы наблюдаем много "TCP повторных передач" в центре хранения с хостов Proxmox... Как я могу отключить задержки ack на сетевых интерфейсах iSCSI Proxmox?
30.06.2020 19:59:00, DANILO MONTAGNA.