Proxmox и RAID-контроллер HP, Proxmox Виртуальная Среда
Ramil
Guest
0
07.11.2016 06:35:00
Привет. Я обновил pve core до версии 2.6.32-48-pve, и теперь у меня такие ошибки в журнале ядра: hpsa 0000:04:00.0: scsi 0:0:0:0 добавление не удалось, устройство не добавлено. levelhpsa 0000:04:00.0: добавлено scsi 0:0:0:0: RAID HP P410i контроллер SSDSmartPathCap- En- Exp=1 qd=1024 hpsa 0000:04:00.0: scsi 0:0:0:0 добавление не удалось, устройство не добавлено. levelhpsa 0000:04:00.0: добавлено scsi 0:0:0:0: RAID. Также не работает утилита hpacucli. Может, кто-то может помочь с этим? Дополнительная информация: lspci | grep RAID 04:00.0 Контроллер шины RAID: Hewlett-Packard Company Smart Array G6 controllers (rev 01) lsmod | grep hp hpwdt 7009 0 hpilo 7535 0 shpchp 29162 0 hpsa 95349 2 scsi_transport_sas 35463 1 hpsa lsmod | grep sg sg 29475 0
subvillion
Guest
0
24.11.2016 19:25:00
Такой же рейд, такое же ядро, такая же проблема.
fireon
Guest
0
25.11.2016 00:07:00
Какие источники данных ты используешь для hptools, и какая версия hpacucli / hp-health?
subvillion
Guest
0
25.11.2016 05:51:00
Код: # /etc/apt/sources.list.d/hp.list deb wheezy/current non-free Спойлер: Установлено: hpacucli, hp-health Код: Пакет: hpacucli Статус: установка завершена успешно Приоритет: необязательный Раздел: админ Установлено-размер: 18828 Ответственный: craig lamparter <Linux_SWdeliverables@external.groups.hp.com> Архитектура: amd64 Версия: 9.40.1-1. Зависимости: libc6 (>= 2.3.4), libgcc1 (>= 1:4.1.1), libstdc++6 (>= 4.1.1) Описание: Утилита конфигурации массивов HP с командной строки Утилита конфигурации массивов HP с командной строки — это программа конфигурации дисковых массивов для контроллеров массивов.
Пакет: hp-health Статус: деинсталлирован успешно конфигурационные файлы Приоритет: необязательный Раздел: админ Установлено-размер: 1886 Ответственный: bryan gartner <bryan.gartner@hp.com> Архитектура: amd64 Версия: 9.4.0.1.7-5. Конфигурационная версия: 9.4.0.1.7-5. Зависимости: libc6 (>= 2.7), binutils, dmidecode, pciutils, libc6-i686 | lib32gcc1 Рекомендуется: logrotate Конфигурационные файлы: /etc/init.d/hp-asrd 052eab496f5fbfd1897336b85664e239 /etc/init.d/hp-health 750d79a7ec723cc5a86c435220a47f89 /etc/logrotate.d/hp-health d501c2186cc5a5b09a227f10f5c8a12e Описание: hp Приложение для мониторинга системного здоровья и пакет утилит командной строки Этот пакет содержит монитор системы здоровья для всех систем hp Proliant с ASM, ILO и ILO2 встраиваемыми управляющими чипами. Также содержатся утилиты командной строки. Это взято из cli: hpacucli - Утилита конфигурации HP Array CLI 9.40.12.0 UPD: Спойлер: lspci Код: 05:00.0 Контроллер шины RAID: Компания Hewlett-Packard Smart Array G6 контроллеры (rev 01) Субсистема: Компания Hewlett-Packard Smart Array P410i Управление: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR- FastB2B- DisINTx+ Статус: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx- Задержка: 0, Размер строки кэша: 64 байта Прерывание: пин A направлен на IRQ 28 Регион 0: Память по адресу fbc00000 (64-бит, не подлежащее предварительной выборке) [размер=4M] Регион 2: Память по адресу fbbf0000 (64-бит, не подлежащее предварительной выборке) [размер=4K] Регион 4: Порты ввода/вывода по адресу 4000 [размер=256] [виртуальный] Расширение ROM по адресу e7000000 [отключено] [размер=512K] Возможности: [40] Управление энергопотреблением версия 3 Флаги: PMEClk- DSI- D1+ D2- AuxCurrent=375mA PME(D0+,D1-,D2-,D3hot-,D3cold-) Статус: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Возможности: [50] MSI: Включено- Количество=1/1 Маскируемые- 64-бит+ Адрес: 0000000000000000 Данные: 0000 Возможности: [70] Express (v2) Конечный пункт, MSI 00 DevCap: MaxPayload 256 байт, PhantFunc 0, Задержка L0s <1us, L1 <8us ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- DevCtl: Сообщать об ошибках: Исправимые- Нефатальные+ Фатальные+ Не поддерживается- RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ MaxPayload 256 байт, MaxReadReq 4096 байт DevSta: CorrErr- UncorrErr- FatalErr- UnsuppReq- AuxPwr- TransPend- LnkCap: Порт #0, Скорость 5GT/s, Ширина x8, ASPM L0s, Задержка L0 <512ns, L1 <64us ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM отключен; RCB 64 байта Отключен- Повторная тренировка- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- LnkSta: Скорость 5GT/s, Ширина x4, TrErr- Обучение- SlotClk+ DLActive- BWMgmt- ABWMgmt- DevCap2: Таймаут завершения: Не поддерживается, TimeoutDis- DevCtl2: Таймаут завершения: 50us до 50ms, TimeoutDis- LnkCtl2: Целевая скорость ссылки: 5GT/s, Вход в соблюдение- SpeedDis-, Выборочная демпфировка: -6dB Передача маржи: Нормальный рабочий диапазон, Вход в модифицированное соблюдение- ComplianceSOS- Соблюдение демпфировки: -6dB LnkSta2: Текущий уровень демпфировки: -6dB, Завершение эквализации-, Фаза эквализации 1- Фаза эквализации 2- Фаза эквализации 3-, Запрос эквализации ссылки- Возможности: [ac] MSI-X: Включено+ Количество=16 Маскируемые- Векторная таблица: BAR=0 смещение=001c2000 PBA: BAR=0 смещение=001c4000 Возможности: [100 v1] Расширенное сообщение об ошибках UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol- UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq+ ACSViol- UESvrt: DLP- SDES+ TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol- CESta: RxErr- BadTLP- BadDLLP- Переполнение- Таймаут- Нефатальная ошибка- CEMsk: RxErr- BadTLP- BadDLLP- Переполнение- Таймаут- Нефатальная ошибка- AERCap: Указатель первой ошибки: 00, GenCap+ CGenEn- ChkCap+ ChkEn- Ядро драйвера в использовании: hpsa
subvillion
Guest
0
25.11.2016 05:56:00
Спойлер: Проблема не только у 410i, P212 - та же самая. Код: 06:00.0 RAID контроллер: Hewlett-Packard Company Smart Array G6 контроллеры (ревизия 01) Subsystem: Hewlett-Packard Company Smart Array P212 Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR- FastB2B- DisINTx+ Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx- Latency: 0, Размер кеш-линии: 256 байт Interrupt: pin A подключен к IRQ 24 Region 0: Память на fb800000 (64-бит, не предварительно загружаемая) [размер=4M] Region 2: Память на fbdff000 (64-бит, не предварительно загружаемая) [размер=4K] Region 4: Порты ввода-вывода на d800 [размер=256] Расширяемая ROM на fbd00000 [отключена] [размер=512K] Возможности: [40] Версия управления энергопотреблением 3 Flags: PMEClk- DSI- D1+ D2- AuxCurrent=375mA PME(D0+,D1-,D2-,D3hot-,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Возможности: [50] MSI: Включено- Количество=1/1 Маскируемый- 64bit+ Address: 0000000000000000 Data: 0000 Возможности: [70] Express (v2) Endpoint, MSI 00 DevCap: Максимальный размер полезной нагрузки 256 байт, PhantFunc 0, Задержка L0s <1us, L1 <8us ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- DevCtl: Сообщать об ошибках: Исправимо- Не фатально+ Фатально+ Неподдерживаемо- RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+ Максимальный размер полезной нагрузки 256 байт, Максимальный запрос чтения 4096 байт DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend- LnkCap: Порт #0, Скорость 5GT/s, Ширина x8, ASPM L0s, Задержка L0 <512ns, L1 <64us ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM отключен; RCB 64 байта отключен- Переподготовить- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- LnkSta: Скорость 2.5GT/s, Ширина x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt- DevCap2: Время ожидания завершения: Не поддерживается, TimeoutDis+ DevCtl2: Время ожидания завершения: 50us до 50ms, TimeoutDis- LnkCtl2: Целевая скорость канала: 5GT/s, EnterCompliance- SpeedDis-, Выборочное уменьшение акцента: -6dB Передаточный запас: Нормальный рабочий диапазон, EnterModifiedCompliance- ComplianceSOS- Compliance De-emphasis: -6dB LnkSta2: Текущий уровень уменьшения акцента: -3.5dB, EqualizationComplete-, EqualizationPhase1- EqualizationPhase2-, EqualizationPhase3-, LinkEqualizationRequest- Возможности: [ac] MSI-X: Включено+ Количество=16 Маскируемый- Таблица векторов: BAR=0 смещение=001c2000 PBA: BAR=0 смещение=001c4000 Возможности: [100 v1] Расширенная отчетность об ошибках UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol- UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt+ RxOF- MalfTLP- ECRC- UnsupReq+ ACSViol- UESvrt: DLP+ SDES+ TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol- CESta: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+ CEMsk: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+ AERCap: Указатель первой ошибки: 00, GenCap+ CGenEn- ChkCap+ ChkEn- Драйвер ядра в использовании: hpsa
Reinis Rozitis
Guest
0
25.11.2016 14:02:00
Если я правильно помню, были некоторые проблемы с некоторыми умными массивами HP и старыми ядрами (серии 2.6.x (насколько я помню, это было исправлено начиная с 2.6.37)), когда драйвер hpsa пересекался с драйвером cciss. Что можно сделать — это добавить hpsa.hpsa_allow_any=1 в параметры загрузки (grub) и посмотреть, поможет ли это. По крайней мере, это точно работает на ядрах 4.x: Код: root@box:~# uname -a Linux box 4.4.21-1-pve #1 SMP Чт Окт 27 09:31:44 CEST 2016 x86_64 GNU/Linux root@box:~# hpssacli ctrl all show config | grep Smart Умный массив P420i в слоте 0 (встроенный) Умный массив P431 в слоте 1 Умный массив P431 в слоте 2 Также HP переключила hpacucli на hpssacli.. Hpacucli не всегда работает с новыми контроллерами..
Reinis Rozitis
Guest
0
25.11.2016 14:10:00
Также
fireon
Guest
0
25.11.2016 19:18:00
Проверил на старом HP G5, все работает.
gigel
Guest
0
11.04.2017 16:42:00
Я тоже наткнулся на то же сообщение "добавление не удалось, устройство не добавлено" на redhat на машине DL 380 G5. На самом деле, именно так я нашел эту тему. Что я обнаружил, устанавливая и удаляя каждую версию модуля ядра hpsa по одной: версия kmod-hpsa-3.4.10-120.rhel7u1.x86_64 — последняя, которая работает нормально. Обратите внимание, что 3.4.10 — это версия модуля ядра hpsa, а не версия ядра. Более новые версии корректно отображают логические тома в ОС, но hpacucli/hpssacli/ssacli больше не «видят» массивы/контроллеры. То есть вы можете использовать это, но не можете изменять или запрашивать информацию о контроллере, поэтому проверьте в своем dmesg, какую версию hpsa он сообщает. Вот как это выглядит: [ 1.430705] HP HPSA Driver (v 3.4.10-120)
Reinis Rozitis
Guest
0
11.04.2017 17:00:00
Не уверен насчет RHEL, но в общем все деревья ядра 4.x прекрасно работают. Например, на старом ProLiant DL360 G5 (с ядром 4.10.8 / OpenSUSE Leap) с версиями 3.4.16, которая является последней () Код: box:~ # dmidecode | grep Name Название продукта: ProLiant DL360 G5
box:~ # modinfo hpsa имя файла: /lib/modules/4.10.8-2.gea9dcd4-default/kernel/drivers/scsi/hpsa.ko лицензия: GPL версия: 3.4.16-0 описание: Драйвер для контроллера HP Smart Array версии 3.4.16-0 автор: Компания Hewlett-Packard
box:~ # hpssacli ctrl all show config Smart Array E200i в слоте 0 (встроенный) .. Я также не замечал никаких проблем ни на G5, ни на G6, ни на G8 или G9, так что Proxmox с текущим 4.4.x тоже не должен иметь никаких проблем.
mjw
Guest
0
26.05.2017 17:17:00
CentOS 7 ведет себя аналогично на серверах HP (с p410i).