Аспро: ЛайтШоп [тема: новый трехузловой PVE+Ceph кластер]

новый трехузловой PVE+Ceph кластер

Tue, 08 Oct 2019 17:45:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы не можем добавить больше узлов по лицензионным причинам (скажите "привет" Oracle и Microsoft), поэтому три узла должны быть масштабируемыми в отношении хранения и оперативной памяти.
08.10.2019 17:45:00, sherminator.

новый трехузловой PVE+Ceph кластер

Tue, 08 Oct 2019 14:50:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@sherminator когда твой CEPH будет готов, неплохо было бы посмотреть на какие-нибудь бенчмарки, а не просто на один диск однако сейчас я понимаю, зачем нужен контроллер, ведь у тебя корпус на 24 порта ха-ха, круто!
08.10.2019 14:50:00, guyman.

новый трехузловой PVE+Ceph кластер

Tue, 08 Oct 2019 14:45:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У нас есть два системных диска (RAIDZ1), и мы начинаем с семи SSD по 1,92 ТБ на узел для Ceph. Максимально можно до 24 на узел. ...и потому что веб-конфигуратор Thomas Krenn предлагает мне только 8i. Я здесь разместил результат бенчмарка для одного SSD на 1,92 ТБ: https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/page-7#post-271062 Это то, что ты ищешь, или мне надо что-то другое сделать? Очень здорово! Но, думаю, немного побольше. Удачи!
08.10.2019 14:45:00, sherminator.

новый трехузловой PVE+Ceph кластер

Tue, 08 Oct 2019 14:29:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
@sherminator : 1x Broadcom HBA 9300-8i Зачем это? У тебя только 2 системных диска, так что -4i было бы достаточно. Или ты используешь Jbod для других дисков CEPH? Было бы неплохо увидеть какие-то тесты (4k IOPs). Спасибо! Кстати: https://forum.proxmox.com/threads/c...tart-being-prepared-to-select-hardware.58809/ тот же / или почти тот же проект.
08.10.2019 14:29:00, guyman.

новый трехузловой PVE+Ceph кластер

Tue, 08 Oct 2019 12:16:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет снова, вещи начинают сбываться — чувствую себя как на Рождество! Мы купили серверное оборудование, как в списке выше, с одним исключением: вместо сетевых карт X710 мы купили X520. Серверы установлены в наших дата-центрах, интеграция сети выглядит хорошо, и я только что установил три PVE, пока еще не кластеризованные и без Ceph. Есть ли у тебя какие-то предложения или пожелания, что мне стоит протестировать перед созданием кластера и запуском Ceph? Спасибо и привет, Стефан.
08.10.2019 12:16:00, sherminator.

новый трехузловой PVE+Ceph кластер

Fri, 13 Sep 2019 15:59:00 +0300

новый трехузловой PVE+Ceph кластер Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем, мы только что решили построить новую виртуализационную среду на базе трех узлов PVE+Ceph. В данный момент у нас работает около 50 виртуальных машин (серверы Windows и Linux), которым назначены 192 vCPU, 377 ГБ ОЗУ и 12 ТБ выделенного хранилища, из которых реально используется 8,3 ТБ. Мы хотим настроить как можно более стандартную установку PVE и Ceph. Первые два шага, которые я имею в виду: 1) планирование серверного оборудования и 2) планирование сетевой инфраструктуры вокруг этих серверов. 1) Серверное оборудование Поскольку мы очень довольны Thomas Krenn на протяжении многих лет, мы хотели бы купить эти серверы там. Вот моя первая версия (на машину): ** 2HE AMD Dual-CPU RA2224 Server ** ЦП: 2x AMD EPYC 7351 ОЗУ: 256 ГБ (4x 64 ГБ) ECC Reg DDR4 2666 SSD (ОС и ПО): 2x 240 ГБ Samsung SM883 SSD (Ceph): 7x 1,92 ТБ Samsung SM883 (каждый из них OSD+Journal для хранения Ceph) 1x Broadcom HBA 9300-8i 2x Intel 10 Gigabit X710-DA2 SFP+ стандартные подписки Proxmox на 5 лет с основным аппаратным обеспечением примечания: а) Почему AMD? Потому что, когда Голиаф сражается с Давидом, мы на стороне Давида. Есть ли серьезные причины использовать Intel в любом случае? б) SSD: Что насчет SM883 против PM883? Или что-то совершенно другое? 2) Сеть Три узла будут находиться в трех разных комнатах, которые соединены волоконно-оптическими соединениями OM3 (R1 <-107 метров-> R2 <-145 метров-> R3). В каждой комнате есть виртуальный шасси переключателей на базе Juniper EX3300 (также соединенные друг с другом через 10 Гбит/с, используя упомянутые выше соединения). Везде есть как минимум четыре свободных порта на 10 Гбит/с. На мой взгляд, "очевидный" путь таков: 1x 10 Гбит/с для "сети ВМ" 1-2x 10 Гбит/с для Ceph 1x 10 Гбит/с для живой миграции Еще одна дикая идея — создать прямую mesh-сеть для Ceph, используя более 10 Гбит/с. Здесь вопрос: что возможно с 145 метрами OM3: 25 Гбит/с? 40 Гбит/с? Ещё больше? На данный момент всё. Я был бы очень рад вашим комментариям по этому проекту, и обещаю провести любые тесты производительности, которые вы захотите увидеть в этой среде, когда она будет построена! Спасибо и привет из Германии, Стефан
13.09.2019 15:59:00, sherminator.