http://proxmox.su Новое в теме Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Sat, 18 Apr 2026 03:18:19 +0300 Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не особо смешно, моя домашняя лаборатория сейчас состоит из 5 Mac Mini образца 2012 года в кластере Proxmox с Ceph, и за последние несколько недель она бывала в состоянии деградации до 2 узлов. В отличие от вас, я пока не запускаю Plex или не использую ее как медиасервер, для меня это просто домашняя лаборатория для экспериментов. Я, честно говоря, не проводил никаких тестов производительности, так как знаю, что Ceph-кластер с 3 USB3-OSD на старом железе не будет выдавать отличных результатов. Недавно один из изначальных 3 узлов, которые работали, вышел из строя, и мой Ceph-кластер упал до 2 узлов с одним OSD на каждом. Поскольку это домашняя лаборатория, используемая только для тестирования и обучения, я отложил возможность поиграться с ней и добавить дополнительные узлы, до которых руки не доходили. Ceph прекрасно справился и продержался три недели в деградированном состоянии, пока я думал, что она в любой момент рухнет и я потеряю данные, но она продолжала работать до тех пор, пока у меня не появилось время ее починить. Теперь, когда она работает, и я собираюсь добавить еще пару OSD, я консолидирую все в один шкаф, так как сейчас это разбросано по дому в куче сетевого оборудования и хранилищ. Как только все будет консолидировано на одном коммутаторе, я, возможно, немного протестирую производительность и сообщу, что получилось, хотя и не ожидаю многого.
07.04.2025 14:25:00, Syridian.]]> http://proxmox.su/forum/messages/forum63/message310289/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310289/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Mon, 07 Apr 2025 14:25:00 +0300 Proxmox Виртуальная Среда Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за информацию. Очень ценно.
29.03.2024 18:21:00, Dirky_uk.]]> http://proxmox.su/forum/messages/forum63/message310288/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310288/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Fri, 29 Mar 2024 18:21:00 +0300 Proxmox Виртуальная Среда Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Я хотел поэкспериментировать с Ceph перед тем, как переходить на кучу нового оборудования позже, и чтобы спланировать, что мне нужно/чего не хватает для нового железа. Я настроил 2 отдельных кластера с помощью Proxmox и Ceph, и хотя это далеко не идеально и даже не близко к тому, что ты бы сделал в "реальной рабочей среде", всё работает, и Ceph отлично справляется со своими задачами, и пока (стучу по дереву) сохраняет мои данные в безопасности.

Первый кластер состоит из 7 узлов, где, к сожалению, из-за ограничений оборудования (невозможно перевести RAID-карту в режим IT/HBA) мне пришлось использовать внешние диски для моих Ceph OSD. Каждый из 7 узлов имеет 2 SSD-диска, подключенных через USB-SATA адаптер, и каждый узел имеет два 1 GB NIC для использования Ceph и Proxmox (хотя я создал несколько VLAN, чтобы разделить всё по разным сетям). На этом кластере я получаю скорость, примерно равную скорости одного HDD при записи в кластер, хотя я не заметил никакой разницы между этим и когда я использовал NAS с NFS для хранения дисков VM.

Второй кластер предназначен для моих Docker-томов и состоит из кластера из 3 узлов, каждый с 4 HDD внутри. В этот раз мне удалось подключить большинство дисков OSD в систему, и я использую 2 USB-SATA адаптера для установки ОС. Они также имеют два 1 GB NIC на каждом узле. Этот кластер немного более капризный, чем другой, у 2 OSD на 2 узлах находятся на USB-адаптерах, поскольку системы не загружались с SSD-дисков, подключенных через USB-адаптер, но загружались с USB-флешки.

В целом, я доволен своим переходом на данный момент и надеюсь перейти на лучшую аппаратную конфигурацию в будущем и избавиться от некоторых "косяков" этой настройки. Скорее всего, я заменю узлы в моем основном кластере на собственные 4U системы или, возможно, на Dell R730, прежде чем переходить к другому, меньшему кластеру. Моя конечная цель — перейти к 5-узловому основному кластеру для запуска VM, который я называю своим вычислительным кластером. Затем перейти к 7-узловому хранилищу кластеру и удалить 3-узловый Ceph кластер, а также мои другие 3 NAS-боксы, работающие как отдельные места хранения.
17.03.2024 19:17:00, Astraea.]]> http://proxmox.su/forum/messages/forum63/message310287/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310287/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Sun, 17 Mar 2024 19:17:00 +0300 Proxmox Виртуальная Среда Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо, отредактировал для 3 узлов Proxmox, как я понимаю, это должно работать?
17.03.2024 17:20:00, Dirky_uk.]]> http://proxmox.su/forum/messages/forum63/message310286/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310286/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Sun, 17 Mar 2024 17:20:00 +0300 Proxmox Виртуальная Среда Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ceph как минимум требует 5 нод, чтобы показать хоть какую-то производительность и использовать быстрые внутренние накопители. На двух нодах это просто не заработает.
17.03.2024 12:54:00, gurubert.]]> http://proxmox.su/forum/messages/forum63/message310285/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310285/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Sun, 17 Mar 2024 12:54:00 +0300 Proxmox Виртуальная Среда Производительность Ceph с Proxmox на внешних дисках! (Отредактировано, 3 ноды) Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Не смейтесь... У меня Mac mini 2012 года, core i7, 16gb, ничего особенного. Я использую Mac (MacOS) с подключенным Drobo 5D и Thunderbolt 1. Запускаю Plex на Mac, а также некоторые arrr-сервисы. Смотрю через Plex максимум две трансляции одновременно. Мой план — перенести это на узел Proxmox кластера. Думаю использовать мини-ПК с minis-forum, возможно, 12-е поколение i7, 32GB оперативной памяти. Интересно, как будут работать USB 3.1 накопители, например, внешние на 16TB, с Ceph на этом небольшом кластере? Буду запускать несколько других VM, но в основном для тестирования всяких вещей, Docker и т.д. Я понимаю, вопрос широкий, легко не обновлю остальную домашнюю сеть до 2.5GB, но думаю, можно купить небольшой 2.5G коммутатор, чтобы подключить два Proxmox-бокса. Однако, я предполагаю, что USB 3.1… Спасибо за любые советы!
16.03.2024 19:55:00, Dirky_uk.]]> http://proxmox.su/forum/messages/forum63/message310284/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody http://proxmox.su/forum/messages/forum63/message310284/75716-proizvoditelnost-ceph-s-proxmox-na-vneshnikh-diskakh_-_otredaktirovano_-3-nody Sat, 16 Mar 2024 19:55:00 +0300 Proxmox Виртуальная Среда