+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Рекомендация по настройке файловой системы и массива дисков, Proxmox Виртуальная Среда

shalak

Guest

09.05.2021 12:35:00

Привет! Я купил сервер HP Proliant DL380e G8 с 2xE5-2450L и 64 ГБ оперативной памяти. У меня есть 4 жестких диска WD Red WD40EFAX по 4 ТБ и 2 SSD ADATA 240 ГБ 2,5" SATA Ultimate SU630. Аккумулятор RAID на сервере был обновлён. Вот какие RAID-контроллеры установлены на этом устройстве: Код: [12:08:36][root@zoltan]:~# lspci -knn | grep -A 1 'RAID bus controller' 00:1f.2 RAID bus controller [0104]: Intel Corporation C600/X79 series chipset SATA RAID Controller [8086:1d04] (rev 05) Subsystem: Hewlett Packard Enterprise C600/X79 series chipset SATA RAID Controller [1590:0048] -- 0a:00.0 RAID bus controller [0104]: Hewlett-Packard Company Smart Array Gen8 Controllers [103c:323b] (rev 01) Subsystem: Hewlett-Packard Company P420 [103c:3351] Цель сервера — стать домашней лабораторией и NAS: он будет использоваться в основном для nextcloud и openmediavault (с несколькими контейнерами Docker, например, реверс-прокси, dns sinkhole и игровые серверы, такие как Factorio, Valheim или Minecraft). В данный момент я установил Proxmox на этих двух SSD, которые настроены как RAID-1, жесткие диски по 4 ТБ ждут своей очереди. Я планировал использовать SSD для задач, требующих быстрого доступа, а HDD для медиа, бэкапов и т.д. Что касается этих 4 ТБ HDD — мне стоит выбрать аппаратный RAID + LVM или сразу ZFS? Я ценю независимость от аппаратного обеспечения и производителя, так что я склоняюсь к ZFS. Однако (насколько я знаю) светодиоды на моем устройстве не будут выполнять свою функцию, и я не знаю, насколько снизится производительность... Какова бы была лучшая рекомендация для настройки дисков?

shalak

Guest

26.06.2021 20:10:00

Привет! Спасибо за все замечания. Мне не хочется просить, но надеюсь, ты сможешь помочь мне с необходимой подготовкой BIOS, чтобы это заработало. Я выбрал Seagate в итоге. И я купил 6 HDD на этот раз (планирую сделать RAID-Z2). Однако у меня возникли проблемы с тем, чтобы новые диски стали видимыми в операционной системе. Я смог найти их только в панели конфигурации RAID, когда пытался создать новый RAID-объем:

Если я правильно понимаю, мне нужно передать эти диски непосредственно операционной системе, верно? Как это сделать? ПРИМЕЧАНИЕ: У меня уже есть массив RAID1 на этом контроллере (те два SSD, о которых я упоминал ранее, Proxmox работает на них).

Dunuin Guest	#3 0 26.06.2021 20:16:00 Если это контроллер RAID, скорее всего, вы не сможете использовать ZFS. Возможно, есть возможность перевести контроллер RAID в режим IT/HBA, но тогда все порты будут без RAID, и ваш RAID1 больше не будет работать.

shalak

Guest

27.06.2021 00:00:00

Хм, похоже, мне придётся использовать родной RAID вместо ZFS. Что мне нужно, чтобы сделать ZFS возможным? BIOS сообщает, что у меня есть B120i (хотя, думаю, мне придётся переподключить некоторые SATA-кабели внутри?). Что мне нужно, чтобы эти диски были напрямую доступны для ОС, как на обычном настольном ПК? Просто PCI SATA контроллер с минимум 6 разъёмами?

Dunuin Guest	#5 0 27.06.2021 04:17:00 Да, просто обычный SATA контроллер без каких-либо функций RAID. Но убедитесь, что чипсет контроллера поддерживается ядром Linux версии 5.4.

shalak

Guest

27.06.2021 15:09:00

Хорошо, я нашел документацию о том, как включить HBA для P420i для прошивки 8.0+, а также как обойти отсутствие загрузки в режиме HBA, разместив /boot на SD-карте. Это значит, как ты и упомянул, что мой RAID1 придется убрать. К счастью, я не против переустановить ОС, так что теперь жду, когда придет SD-карта. Но этот апгрейд открывает возможность лучше использовать два SSD, которые у меня есть. Я думал сделать 2 SSD в RAID1, а остальные диски в RAID-Z2. Может быть, это будет лучший способ их использовать? (например, использовать их для кеша ZFS?) Какую конфигурацию ты считаешь лучшей?

Dunuin

Guest

27.06.2021 18:32:00

Загрузка с USB-карт (то есть только загрузочный раздел) должна работать нормально. Но корневой раздел не должен находиться на SD-карте. Proxmox записывает слишком много данных (около 30 ГБ в день только на логи, метрики, конфигурации), чтобы его можно было установить на обычную потребительскую SD-карту или USB-накопитель, так что они могут быстро выйти из строя. Итак, вижу 3 варианта: 1.) купить приличную промышленную SD-карту или промышленный USB-накопитель, которые могут выдерживать такие записи, и сделать стандартную установку PVE ISO. 2.) провести стандартную установку PVE ISO и попытаться минимизировать записи на SD-карту впоследствии. Есть несколько тем на форумах, обсуждающих, как это сделать, используя RAM-диски и так далее. 3.) установить Debian Buster. Убедитесь, что используете SD-карту только как загрузочный + efi/grub раздел, а затем создайте mdraid raid1 на обоих SSD и используйте его как корневой раздел. Установите PVE поверх Debian, разбейте оставшееся пространство SSD и используйте его (ZFS зеркало или mdraid raid1 с LVM сверху) как хранилище для виртуальных машин. Кэшированные SSD в большинстве случаев не стоят своих денег. HDD в raidz2 на самом деле плохо подходят в качестве хранилища для виртуальных машин, и добавление кэшированных SSD не сделает это намного лучше. Гораздо лучше использовать пару зеркальных SSD в качестве хранилища для виртуальных машин и для всех горячих данных.

shalak Guest	#8 0 27.06.2021 18:41:00 Да, похоже, что вариант 3 - это правильное решение. Спасибо за все советы! Я выберу зеркалирование SSD в ZFS, установлю Proxmox на них и буду использовать тот же объем для самых важных виртуальных машин.

Dunuin

Guest

27.06.2021 18:51:00

Это может быть сложно, потому что Debian изначально не поддерживает ZFS, и установщик Debian не должен показывать его как вариант для вашей корневой раздела. Но, возможно, можно установить систему без ZFS, а потом переместить корневую раздел на пул ZFS.

shalak Guest	#10 0 27.06.2021 19:19:00 Этот учебник утверждает, что достаточно установить ZFS на живую инстанцию Debian (через "apt install zfsutils-linux").

shalak

Guest

#11

20.08.2021 13:24:00

@Dunuin Надеюсь, ты не против, что я снова терзаю тебя вопросами. Я нашел информацию, утверждающую, что запускать ZFS на P420 в режиме HBA — плохая идея. Теперь я думаю, стоит ли мне выбирать H220 или H240. Что из этих вариантов будет лучше? Мне все еще нужно будет загружаться с SD в этом конфигурации?

Dunuin Guest	#12 0 20.08.2021 14:22:00 Вам нужен HBA в режиме IT (инициатор-цель), чтобы хост мог напрямую получать доступ к дискам без всякой абстракции между ними. Не уверен, что PERC может это сделать.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры