+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

iSCSI Multipath, Proxmox Виртуальная Среда

fastboar154

Guest

25.04.2025 13:46:00

Всем привет, пытаюсь настроить ISCSI Storage для кластера Proxmox, чтобы создать Multipath. Но даже если оба контроллера ISCSI портал отображены, команда `iscsiadm -m session tcp: [1] 312.168.0.100:3260,0 iqn.2004-08.com.qsantechnology 300q-d212-00090ed58:dev0.ctr1 (non-flash) tcp: [2] 312.168.0.200:3260,0 iqn.2004-08.com.qsantechnology 300q-d212-00090ed58:dev0.ctr2 (non-flash)` выдает такую картину. Результат `fdisk -l Disk /dev/sda`: 446.62 GiB, 479554568192 bytes, 936630016 sectors Модель диска: PERC H730P Adp Размер сектора (логический/физический): 512 байт / 4096 байт Минимальный/оптимальный размер I/O: 4096 байт / 4096 байт Тип метки диска: gpt Идентификатор диска: F7450559-4A48-4987-8682-481041407E12 Устройство Start End Sectors Size Type /dev/sda1 34 2047 2014 1007K BIOS boot /dev/sda2 2048 2099199 2097152 1G EFI System /dev/sda3 2099200 936629982 934530783 445.6G Linux LVM Partition 1 не начинается на границе физического сектора. Результат `fdisk -l Disk /dev/mapper/pve-swap`: 8 GiB, 8589934592 bytes, 16777216 sectors Результат `fdisk -l Disk /dev/mapper/pve-root`: 96 GiB, 103079215104 bytes, 201326592 sectors Gdisk выдал ошибку. Команда `gdisk -l GPT fdisk (gdisk) version 1.0.9` выдает: Ошибка открытия -l для чтения! Ошибка 2. Указанный файл не существует!

Пытаюсь следовать этой инструкции https://pve.proxmox.com/wiki/ISCSI_Multipath, но диск не отображается. Volume - RAID-6, размер сектора 512 байт, 64 бит. Есть какие-нибудь предложения?

fastboar154 Guest	#2 0 26.04.2025 08:19:00 Наконец-то пришло . Буду дальше разбираться, прежде чем что-то начинать. Сообщу тебе после настройки iSCSI.

bbgeek17

Guest

25.04.2025 15:59:00

Привет @fastboar154, вывод команды "lsblk" помог бы получить более четкое представление о твоей системе. Судя по предоставленной информации, хост не видит LUN, что указывает на неправильную конфигурацию на стороне SAN. Скорее всего, ты не правильно отобразил LUN на Target. Blockbridge: ультра-низкая задержка, общая память на основе NVME для Proxmox - https://www.blockbridge.com/proxmox

fastboar154

Guest

26.04.2025 07:06:00

К сожалению, все еще нет прироста трафика

Он онлайн, но сессии нет. Судя по вашему предыдущему сообщению, это связано с QSAN, и я нашел вот это: https://www.qsan.com/data/dl_files/qs_wp_iSCSI-MPIO-in-Linux (en).pdf, но не думаю, что это инициатор

fastboar154

Guest

25.04.2025 16:32:00

Привет @bbgeek17, рад снова тебя здесь увидеть, пожалуйста, смотри скриншоты

На QSAN особо ничего настраивать не пришлось. Чтобы наверняка, я удалил том и пересоздал его, используя 32-битный вариант вместо 64-битного, и снова 512 байт

CTRL1

CTRL2

Просто чтобы убедиться, я добавил iSCSI-портал в Windows и том доступен

bbgeek17

Guest

25.04.2025 16:48:00

Ядро Linux системы PVE не обнаружило LUN, что подтверждается выводом команды "lsblk". Я не знаком с тем, как должна выглядеть конфигурация QSAN. Вывод, который вы предоставили, показывает активные сессии. Мы знали, что они работают, исходя из вашего предыдущего вывода. Возможно, потребуется дополнительная работа по сопоставлению LUN с определенным инициатором, я не уверен. Вам, возможно, стоит обратиться в службу поддержки/форум QSAN, так как они лучше разбираются в устранении неполадок с устройствами хранения. Протокол iSCSI и его конфигурация в PVE довольно просты, нет никаких скрытых настроек, которые нужно "раскрыть", чтобы увидеть LUN. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

bbgeek17

Guest

25.04.2025 19:04:00

Изменился ли статус твоего LUN с "erasing" после того, как ты сделала скриншот? "Erasing" могло быть причиной неизвестного серийного номера и ошибок I/O. Если статус теперь другой, надеюсь, "online", попробуй ещё раз получить доступ к диску. Blockbridge : Ultra low latency all-NVME shared storage for Proxmox - https://www.blockbridge.com/proxmox

fastboar154

Guest

25.04.2025 19:51:00

Я тоже так думал, подождал, чтобы ответить и проверить LUN после Erasing task. Как думаешь, нужно пересканировать с этой командой? Code: for host in /sys/class/scsi_host/host*/scan; do echo "- - -" > $host; done или оно появится само? Еще поставил галочку "Use LUNs directly"

Раньше она не была выбрана, нашел видео, где она не выбрана, чтобы сделать Multipath. Буду держать тебя в курсе.

bbgeek17

Guest

25.04.2025 19:56:00

Ты можешь делать это в любое время, это не повредит. Хотя, скорее всего, и не поможет. Пока ты не увидишь новый диск в выводе "lsblk" или "lsscsi", или не увидишь событие в "dmesg" — ты не сможешь перейти к следующим шагам. Прямые LUN не поддерживаются с Multipath. Прямой LUN — это полное прохождение LUN напрямую к VM. Есть причины для этого, не знаю, есть ли они у тебя. Если ты хочешь использовать Multipath и LVM — не выбирай эту опцию. Как только диски будут представлены хосту правильно, ты сможешь следовать этому руководству для остальной части конфигурации: https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/ Blockbridge: Ультра-низкая задержка, полностью на NVMe, для совместного хранилища Proxmox - https://www.blockbridge.com/proxmox

fastboar154

Guest

#10

26.04.2025 10:04:00

Я создал файл /etc/multipath.conf командой Touch, его там не было, но он не переключился на свою конфигурацию по умолчанию, поэтому я добавил свою для старого QSAN:

```
defaults {
user_friendly_names yes
polling_interval 10
max_fds 8192
find_multipaths yes
queue_without_daemon no
}

blacklist {
devnode "^sd[a-z]$"
devnode "^nvme.*"
}

# Assegnazione alias al WWID specifico
multipaths {
multipath {
wwid 362cea7f0bd4b2a0028df2df8113f297d
alias fatai-multipath
path_grouping_policy failover
path_selector "round-robin 0"
rr_min_io 100
}
}

devices {
device {
vendor "QSAN"
product ".*"
path_grouping_policy "failover"
path_selector "round-robin 0"
path_checker "tur"
features "0"
prio "const"
failback "manual"
no_path_retry 5
fast_io_fail_tmo 5
dev_loss_tmo 30
}
}
} но я не знаю, не упустил ли что-нибудь.

fastboar154 Guest	#11 0 26.04.2025 11:48:00 Просто добавляю информацию для будущих пользователей, если это может помочь... Добавил Code: blacklist_exceptions { devnode "^(sdb\|sdc)$" } чтобы разрешить multipath Code: blacklist { devnode "^sd[a-z]$" devnode "^nvme.*" devnode "!^(sd[a-z]\|dasd[a-z]\|nvme[0-9])" ... }

emunt6 Guest	#12 0 27.04.2025 20:27:00 Можно сделать гораздо проще: Код: blacklist { wwid ".*" } blacklist_exceptions { wwid "<wwid-disk1>" wwid "<wwid-disk2>" ... } multipaths { multipath { wwid "<wwid-disk1>" alias mpath-QNAP_disk-1 } multipath { wwid "<wwid-disk2>" alias mpath-QNAP_disk-2 } ... } Тебе нужно знать wwid дисков из SAN.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры