+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

Помогите с настройкой RAID1 + SSD, Proxmox Виртуальная Среда

screenie

Guest

09.10.2013 00:25:00

Привет, я новичок на форуме, но уже несколько месяцев читаю про Proxmox и тестирую его. Сейчас у нас работает Windows 2003 SBS на старом компьютере, и мы наконец-то собираемся его заменить. Думал, что будет глупо не поставить что-то на гипервизор, ведь явно выгодно запускать несколько серверов на одном железе. Я потестировал Proxmox и он показался мне очень перспективным, да и в интернете о нём много положительных отзывов.

Новое железо:
- 1 x Intel® Xeon® Processor E3-1230 v3 (4 ядра/8 потоков, 8 МБ кэш, 3,30 ГГц)
- 2 x 8GB 1600 ECC RAM (итого 16 ГБ)
- ASUS P9D-M с чипсетом Intel C224, LGA1150, материнская плата, Dual LAN, 4 SATA 6G
- 2 x 2TB Western Digital Re Enterprise, SATA 6G
- 1 x 256GB Samsung 840 Pro SSD (не Enterprise)

Все компоненты в серверном корпусе с источником бесперебойного питания, на всё даётся минимум 5 лет гарантии.

Я совсем не понимаю, как настроить хранение данных. Хочу использовать SSD для ускорения системы, но при этом настроить RAID1 на HDD и синхронизировать данные на них, а также использовать их для большого объёма данных типа архивных фото, установочных файлов программ, резервных копий системы и файлов.

Хочу настроить терминальные службы или хотя бы Remote App, чтобы запускать нашу основную базу данных — это наследственное 16-битное приложение Access 2.0, и оно ужасно. Создавать несколько виртуальных машин на одном железе всё равно медленно, если базу в samba шарить. Сервис на FreeNAS и запуск из Windows XP VM тоже шёл медленно. Все базы вместе занимают около 1,5 ГБ, так что вписались бы в RAMDisk.

Система может выдержать потерю данных на 30 секунд без серьёзных проблем, то есть если произойдёт сбой без записи на диск, можно откатиться на 30 секунд назад — это допустимо, потому что ввод данных вручную, и можно просто ввести заново, фактической потери данных не будет.

Не знаю, есть ли варианты хранения, позволяющие всем ВМ на Proxmox быстро обращаться к общему шару, возможно iSCSI? (Без понятия). Сейчас всё установлено на SSD, так как я не понимаю, как настроить RAID-1 на жестких дисках и при этом использовать SSD как кэш. Думаю, это нужно делать через Wheezy с помощью стороннего софта для программного RAID. В противном случае придётся уговаривать купить аппаратную RAID-карту.

Если у кого-то похожая конфигурация или есть советы — буду рад разобраться и разгрести всё сам. Просто на форумах и в интернете не нашёл много похожих примеров. Спасибо заранее!

MatthiasF

Guest

10.12.2013 07:48:00

Обновление. К сожалению, я так и не приблизился к запуску этой системы в промышленную эксплуатацию, но за это время много узнал о Linux и Proxmox. Моя текущая ситуация с хранилищем выглядит так:

root@proxmox:~# pvscan
PV /dev/sdc1 VG hdd2 lvm2 [1.82 TiB / 1.33 TiB свободно]
PV /dev/sdb1 VG hdd1 lvm2 [1.82 TiB / 1.33 TiB свободно]
PV /dev/sda2 VG pve lvm2 [232.38 GiB / 16.00 GiB свободно]
Итого: 3 [3.87 TiB] / используется: 3 [3.87 TiB] / без VG: 0 [0]

root@proxmox:~# lvscan
ACTIVE '/dev/hdd2/lv_hdd2' [500.00 GiB] inherit
ACTIVE '/dev/hdd1/lv_hdd1' [500.00 GiB] inherit
ACTIVE '/dev/pve/swap' [15.00 GiB] inherit
ACTIVE '/dev/pve/root' [58.00 GiB] inherit
ACTIVE '/dev/pve/data' [143.39 GiB] inherit

1 SSD с установленным Proxmox
2 HDD с LVM для образов, 500 ГБ ext3 для резервных копий и прочего (не в RAID, но настроено одинаково, бэкапы будут делаться на альтернативные диски).

Я хочу запустить Windows 8.1 32-бит, чтобы можно было использовать 16-битное приложение и подключаться к нему через RDP. Работать в этом приложении ужасно: точных замеров нет, но страница рендерится около 0.5 секунды, все дергается, загрузка CPU поднимается до 100%. Есть у кого-то опыт успешно работающего Терминального сервера или удаленного рабочего стола на Proxmox? Может ли проблема с производительностью быть связана с переключением CPU для запуска 16-битного приложения? Когда процессор уходит в 100%, возникает вопрос — нужен ли какой-то WDDM-драйвер Windows? Или какая-то видеокарта, которую Proxmox предоставляет системе? Спасибо!

udo

Guest

10.12.2013 10:06:00

Привет, да, у меня несколько терминальных серверов на Proxmox VE (все win2003 32bit). Два из них раньше работали на VMware — и pve справляется хорошо (я не измерял точных показателей, но больших отличий нет, учитывая мою конфигурацию). Большинство проблем связаны с вводом-выводом. Производительность отдельных SATA-дисков обычно оставляет желать лучшего. Насколько быстрый у тебя SSD? Пробовал запускать виртуальную машину на SSD? Для быстрой работы IO важен хороший RAID-контроллер (4 диска в RAID 10 — лучше SAS, чем SATA-диски). Udo

udo

Guest

11.12.2013 00:13:00

Спасибо, Удо, у меня есть небольшой прогресс. Похоже, что мой Quad Core с Hyper-Threading определяется как 8 ядер, которые я передавал гостевой системе как «Host CPU» и QEMU64 CPU с 8 ядрами. Когда я сменил на 4 ядра, производительность немного улучшилась. Моя проблема не в вводе-выводе. Я могу запускать CrystalMark, и разница между «голым железом» и Proxmox очень маленькая. CrystalMark на гостевой Windows 8.1 32bit в Proxmox, образ хранится на локальном SSD в «Directory storage».
-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 © 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 байт/с [SATA/300 = 300,000,000 байт/с]
Последовательное чтение: 306.751 MB/с
Последовательная запись: 255.709 MB/с
Случайное чтение 512KB: 266.410 MB/с
Случайная запись 512KB: 191.600 MB/с
Случайное чтение 4KB (QD=1): 19.830 MB/с [4841.2 IOPS]
Случайная запись 4KB (QD=1): 30.320 MB/с [7402.2 IOPS]
Случайное чтение 4KB (QD=32): 22.220 MB/с [5424.8 IOPS]
Случайная запись 4KB (QD=32): 40.047 MB/с [9777.2 IOPS]
Тест: 50 MB [C: 54.2% (17.2/31.7 GB)] (x1)
Дата: 2013/12/11 10:10:26
OS: Windows 8 Professional [6.2 Build 9200] (x86)

Мой текущий сервер — 2003 SBS, и приложение, установленное локально, работает очень быстро с минимальными задержками. Старый сервер: один 160 ГБ SATA 1 жесткий диск, 2 ГБ ОЗУ, Core2Duo 2.0 ГГц... это обычный ПК, а не сервер.
CrystalMark на старом сервере (голое железо):
-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 © 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 байт/с [SATA/300 = 300,000,000 байт/с]
Последовательное чтение: 45.308 MB/с
Последовательная запись: 34.161 MB/с
Случайное чтение 512KB: 26.049 MB/с
Случайная запись 512KB: 34.498 MB/с
Случайное чтение 4KB (QD=1): 0.439 MB/с [107.3 IOPS]
Случайная запись 4KB (QD=1): 1.041 MB/с [254.2 IOPS]
Случайное чтение 4KB (QD=32): 0.547 MB/с [133.4 IOPS]
Случайная запись 4KB (QD=32): 1.563 MB/с [381.5 IOPS]
Тест: 50 MB [C: 76.7% (117.6/153.4 GB)] (x1)
Дата: 2013/12/11 10:03:41
OS: Windows Server 2003 SP1 [5.2 Build 3790] (x86)

Вот почему я не считаю, что проблема в производительности ввода-вывода. Я запускаю 16-битное приложение и думаю, где-то есть ужасно плохая эмуляция, из-за которой обновление экрана лагает и всё тормозит.
Заранее спасибо.

mir

Guest

11.12.2013 00:23:00

Тестирование с файлом всего в 50 МБ ни о чём не говорит, потому что весь тестовый файл полностью останется в ОЗУ. Чтобы результат был надёжным, нужно использовать тестовый файл как минимум в два раза больше объёма памяти, выделенной виртуальной машине.

mir

Guest

11.12.2013 00:38:00

Смотрите это:

Код:
-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 © 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1 000 000 байт/с [SATA/300 = 300 000 000 байт/с]

Последовательное чтение : 92.223 MB/s
Последовательная запись : 75.145 MB/s
Случайное чтение 512KB : 78.317 MB/s
Случайная запись 512KB : 41.879 MB/s
Случайное чтение 4KB (QD=1) : 3.937 MB/s [ 961.2 IOPS]
Случайная запись 4KB (QD=1) : 3.936 MB/s [ 960.9 IOPS]
Случайное чтение 4KB (QD=32) : 42.818 MB/s [ 10453.5 IOPS]
Случайная запись 4KB (QD=32) : 19.094 MB/s [ 4661.7 IOPS]

Тест : 1000 MB [C: 73.9% (23.6/31.9 GB)] (x5)
Дата : 2013/12/11 0:33:26
ОС : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64)

-----------------------------------------------------------------------
CrystalDiskMark 3.0.2 x64 © 2007-2013 hiyohiyo
Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1 000 000 байт/с [SATA/300 = 300 000 000 байт/с]

Последовательное чтение : 100.023 MB/s
Последовательная запись : 81.285 MB/s
Случайное чтение 512KB : 92.931 MB/s
Случайная запись 512KB : 76.780 MB/s
Случайное чтение 4KB (QD=1) : 6.705 MB/s [ 1637.0 IOPS]
Случайная запись 4KB (QD=1) : 7.551 MB/s [ 1843.6 IOPS]
Случайное чтение 4KB (QD=32) : 43.839 MB/s [ 10702.8 IOPS]
Случайная запись 4KB (QD=32) : 37.069 MB/s [ 9050.0 IOPS]

Тест : 50 MB [C: 75.6% (24.1/31.9 GB)] (x1)
Дата : 2013/12/11 0:38:15
ОС : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64)

mir

Guest

11.12.2013 00:50:00

Извиняюсь, не хотел нагружать продакшн-сервер, но у виртуальной машины с 5x1000MB такие результаты:
Последовательное чтение: 271.265 МБ/с
Последовательная запись: 251.759 МБ/с
Случайное чтение 512КБ: 243.855 МБ/с
Случайная запись 512КБ: 133.169 МБ/с
Случайное чтение 4КБ (QD=1): 13.386 МБ/с [3268.0 IOPS]
Случайная запись 4КБ (QD=1): 8.134 МБ/с [1985.8 IOPS]
Случайное чтение 4КБ (QD=32): 14.868 МБ/с [3629.9 IOPS]
Случайная запись 4КБ (QD=32): 9.441 МБ/с [2305.0 IOPS]
Тест: 1000 МБ [C: 54.3% (17.2/31.7 ГБ)] (x5)
Дата: 2013/12/11 10:35:36
ОС: Windows 8 Professional [6.2 Build 9200] (x86)

Это в режиме IDE, qcow2 хранится на «local» после стандартной установки Proxmox на SSD (да, плохая идея, я знаю). Могу повторить тест с virtIO и LVM, но уверен, что это не причина тормозов обновления экрана. Думаю, что медленная реакция экрана связана с видеокартой или её отсутствием.

mir

Guest

11.12.2013 23:03:00

Наконец-то я понял, что вызывает большую часть лагов. Верите или нет, но UAC в Windows 8.1 мешал моему приложению правильно загружаться, и его нельзя выключить с помощью ползунка — пришлось править ключ в реестре: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System EnableLUA, изменив значение на 0.

Ещё одна большая ошибка с моей стороны — количество ядер. Я назначал 8 ядер для виртуальной машины (хотя у меня всего 4C8T). После того как я уменьшил количество до 4C и оставил QEMU64, производительность значительно улучшилась. Всем спасибо за помощь!

Хотя я пока не добился производительности, как на «голом» железе, собираюсь попробовать изменить размер разделов Proxmox на SSD, чтобы освободить место для LVM, и переключиться на драйверы VirtIO. Сейчас меня больше всего тревожит решение для бэкапов, насколько я знаю, LVM-диски нельзя бэкапить так же просто, как контейнеры qcow2. Мой план — делать резервные копии на альтернативные HDD на случай поломки одного диска или повреждения данных (RAID1 не люблю, потому что он копирует повреждения сразу на оба диска). По моему мнению, вероятность повреждений данных выше, чем вероятность поломки железа.

mir Guest	#9 0 11.12.2013 23:21:00 Образ на LVM томе можно сохранить с помощью стандартных функций резервного копирования Proxmox. Но что с образом на LVM томе сделать нельзя — так это создавать снапшоты. Для этого потребуется qcow2, хранящийся в файловой системе (директория, glusterfs или NFS), либо ceph, sheepdog или ZFS.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры