Привет!
У нас в конфигурации решили перейти с FibreChannel на RoCE для подключения к удаленному хранилищу. При этом источник хранилища (сам массив) остается прежним, просто используется другая технология. Массив сделан Huawei. С тех пор, при высокой сетевой нагрузке на proxmoxes, multipath показывает сбоящие пути и начинает их переназначать. Мы попробовали изменить multipath на nvme.core.multipath, но это ничего не изменило. Раньше, когда мы использовали FC, таких проблем не было.
Прикрепляю конфигурацию multipath ниже:
```
defaults {
polling_interval 1
user_friendly_names yes
#enable_foreign nvme
enable_foreign "^$"
#verbosity 4
}
blacklist_exceptions {
property "(ID_WWN|SCSI_IDENT_.*|ID_SERIAL|DEVTYPE)"
devnode "nvme*"
}
devices {
device {
vendor "NVME"
product "Huawei-XSG1"
uid_attribute "ID_WWN"
no_path_retry 12
rr_min_io 100
path_grouping_policy multibus
#path_grouping_policy group_by_prio
path_checker "directio"
#prio "const"
detect_prio "no"
prio "const"
failback immediate
retain_attached_hw_handler "no"
}
}
multipaths {
multipath {
wwid ******
alias RoCE_***
}
multipath {
wwid ******
alias RoCE_***
}
}
При высокой сетевой нагрузке или при попытке импортировать файл qcow в хранилище:
```
[Fri Feb 14 08:22:56 2025] device-mapper: multipath: 252:16: Failing path 259:16.
[Fri Feb 14 08:23:09 2025] device-mapper: multipath: 252:16: Reinstating path 259:16.
[Fri Feb 14 08:23:26 2025] device-mapper: multipath: 252:16: Failing path 259:18.
[Fri Feb 14 08:23:26 2025] device-mapper: multipath: 252:16: Failing path 259:26.
[Fri Feb 14 08:23:40 2025] device-mapper: multipath: 252:16: Reinstating path 259:18.
[Fri Feb 14 08:23:40 2025] device-mapper: multipath: 252:16: Reinstating path 259:26.
[Fri Feb 14 08:23:56 2025] device-mapper: multipath: 252:16: Failing path 259:22.
[Fri Feb 14 08:24:08 2025] device-mapper: multipath: 252:16: Reinstating path 259:22.
[Fri Feb 14 08:24:09 2025] device-mapper: multipath: 252:16: Failing path 259:20.
[Fri Feb 14 08:24:21 2025] device-mapper: multipath: 252:16: Reinstating path 259:20.
[Fri Feb 14 08:24:39 2025] device-mapper: multipath: 252:16: Failing path 259:30.
```
У кого-нибудь есть похожие проблемы с multipath? Может кто-то сможет помочь с решением?
С уважением,
Tom
У нас в конфигурации решили перейти с FibreChannel на RoCE для подключения к удаленному хранилищу. При этом источник хранилища (сам массив) остается прежним, просто используется другая технология. Массив сделан Huawei. С тех пор, при высокой сетевой нагрузке на proxmoxes, multipath показывает сбоящие пути и начинает их переназначать. Мы попробовали изменить multipath на nvme.core.multipath, но это ничего не изменило. Раньше, когда мы использовали FC, таких проблем не было.
Прикрепляю конфигурацию multipath ниже:
```
defaults {
polling_interval 1
user_friendly_names yes
#enable_foreign nvme
enable_foreign "^$"
#verbosity 4
}
blacklist_exceptions {
property "(ID_WWN|SCSI_IDENT_.*|ID_SERIAL|DEVTYPE)"
devnode "nvme*"
}
devices {
device {
vendor "NVME"
product "Huawei-XSG1"
uid_attribute "ID_WWN"
no_path_retry 12
rr_min_io 100
path_grouping_policy multibus
#path_grouping_policy group_by_prio
path_checker "directio"
#prio "const"
detect_prio "no"
prio "const"
failback immediate
retain_attached_hw_handler "no"
}
}
multipaths {
multipath {
wwid ******
alias RoCE_***
}
multipath {
wwid ******
alias RoCE_***
}
}
При высокой сетевой нагрузке или при попытке импортировать файл qcow в хранилище:
```
[Fri Feb 14 08:22:56 2025] device-mapper: multipath: 252:16: Failing path 259:16.
[Fri Feb 14 08:23:09 2025] device-mapper: multipath: 252:16: Reinstating path 259:16.
[Fri Feb 14 08:23:26 2025] device-mapper: multipath: 252:16: Failing path 259:18.
[Fri Feb 14 08:23:26 2025] device-mapper: multipath: 252:16: Failing path 259:26.
[Fri Feb 14 08:23:40 2025] device-mapper: multipath: 252:16: Reinstating path 259:18.
[Fri Feb 14 08:23:40 2025] device-mapper: multipath: 252:16: Reinstating path 259:26.
[Fri Feb 14 08:23:56 2025] device-mapper: multipath: 252:16: Failing path 259:22.
[Fri Feb 14 08:24:08 2025] device-mapper: multipath: 252:16: Reinstating path 259:22.
[Fri Feb 14 08:24:09 2025] device-mapper: multipath: 252:16: Failing path 259:20.
[Fri Feb 14 08:24:21 2025] device-mapper: multipath: 252:16: Reinstating path 259:20.
[Fri Feb 14 08:24:39 2025] device-mapper: multipath: 252:16: Failing path 259:30.
```
У кого-нибудь есть похожие проблемы с multipath? Может кто-то сможет помочь с решением?
С уважением,
Tom
