http://proxmox.su Новое в теме 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Fri, 24 Apr 2026 09:48:55 +0300 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
6 NVMe PCIe 4.0 x4 Samsung PM9A3 3.84tb на узел - это будут OSDS. Три на сокет процессора (двухсокетная материнская плата). 2 Optane 5801X на узел, по одному на каждые 3 OSDS - для block.db & WAL.
02.06.2025 10:08:00, mangos.]]> http://proxmox.su/forum/messages/forum63/message321500/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost http://proxmox.su/forum/messages/forum63/message321500/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost Mon, 02 Jun 2025 10:08:00 +0300 Proxmox Виртуальная Среда 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Спасибо за информацию. Следующие вещи будут верны:

1.  По 6 OSDS на узел, одинаковые по размеру NVMe Samsung 9A3s.
2.  Резервные коммутаторы TOR (использовать Dell Z9100, передумал насчет Mikrotik).
3.  3 отдельных кольца Corosync с использованием Dell 4048s 10G (я однажды пытался создать один кластер из 20 NUCS - в этот раз у меня получится).
4.  Сетевое подключение 100 GbE.
5.  Резервное копирование всего на NVMe PBS.

Если ранжировать проблемы из предыдущего сообщения по степени важности с учетом предложенного решения:

Проблема №1 — Только три узла. Они не будут нести немедленную производственную нагрузку, и я даже не ожидаю, что они будут полностью загружены в течение года. Если все пойдет хорошо, я планирую иметь 4 узла в течение 6 месяцев и 5 к концу года. Это не критично, если узел выйдет из строя, это большая проблема, только если я не смогу его восстановить. У нас нет внешних заинтересованных сторон/клиентов — поэтому все на нас.

Проблема №3 — Оправданное беспокойство.

Проблема №2 — 6 OSDS на узел это смягчает проблему.

Проблема №6 — По 1 ТБ оперативной памяти на узел с возможностью ее увеличения.

Проблема №4 — 2x 100 GbE.

Проблема №5 — Хорошие по спецификациям NVMe Samsung 9A3s.

Что-нибудь еще упускаю?
02.06.2025 10:04:00, mangos.]]> http://proxmox.su/forum/messages/forum63/message321499/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost http://proxmox.su/forum/messages/forum63/message321499/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost Mon, 02 Jun 2025 10:04:00 +0300 Proxmox Виртуальная Среда 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
У тебя диски на всё, а на CEPH тогда что будет?
31.05.2025 22:15:00, ness1602.]]> http://proxmox.su/forum/messages/forum63/message321498/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost http://proxmox.su/forum/messages/forum63/message321498/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost Sat, 31 May 2025 22:15:00 +0300 Proxmox Виртуальная Среда 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это может быть полезно для небольшого кластера с Ceph: https://forum.proxmox.com/threads/fabu-can-i-use-ceph-in-a-_very_-small-cluster.159671/
31.05.2025 09:13:00, leesteken.]]> http://proxmox.su/forum/messages/forum63/message321497/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost http://proxmox.su/forum/messages/forum63/message321497/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost Sat, 31 May 2025 09:13:00 +0300 Proxmox Виртуальная Среда 3-узловой Proxmox EPYC 7T83 (7763) • 10 × NVMe на хост • 100 GbE Ceph + Flink + Kafka — проверь меня на вменяемость! Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет всем! Я запускаю проект конвейера данных с нуля для своего стартапа. Нужна обработка потоков в реальном времени, поэтому я обновляю некоторые свои хосты Milan до кластера Proxmox + Ceph из 3 узлов.

По узлу:

Снимок материнской платы – Gigabyte MZ72-HB0
Вычислительные ресурсы и RAM – 2 × EPYC 7T83 (128 c/256 t) + 1 TB DDR4-3200: достаточно закрепленных ядер для Ceph, Kafka, Flink и небольшого экземпляра Redis без перекрестных взаимодействий NUMA.
Загрузка – 2 × 480 GB Samsung PM893 SATA (ZFS mirror): защищены PLP, нулевая стоимость PCIe-линий.
Уровень данных Ceph – 6 × 3.84 TB Samsung PM9A3 U.2 NVMe: три на сокет для сбалансированных IOPS и быстрого восстановления.
Ceph block.db/WAL – 2 × Optane P5801X 400 GB: по одному на каждые три OSD для синхронных записей класса µs.
RocksDB для Flink – 1 × Optane P5801X 400 GB: резервные копии и восстановление за менее чем за секунду.
Лог Kafka – 1 × 3.84 TB PM9A3: горячие сегменты на NVMe; хранилище Kafka с многоуровневой структурой выгружает устаревшие данные в небольшой кластер MinIO S3.
Кэш Redis – работает в памяти на свободных ядрах, обеспечивая быстрые поисковые запросы для клиентской части.
Сетевая карта – Mellanox ConnectX-5 EX 100 GbE через пассивный QSFP28 twin-ax.
Коммутатор Top-of-rack – MikroTik CRS520-4XS-16XQ-RM : 16 × QSFP28 (100 GbE) + 4 × SFP28; экономичный вариант для шести 100 Gb-соединений сегодня и запас для расширения; включены jumbo frames и ECN/WRED, чтобы компенсировать скромные буферы размером 6 МБ.

Почему такой набор? Ceph с NVMe на базе Optane поддерживает низкую задержку записи; Kafka буферизирует входящий поток данных объемом 200 Мбит/с и выгружает исторические данные в MinIO; Flink работает с быстрыми состояниями на базе Optane; Redis обеспечивает мгновенный доступ для приложения; CRS520 обеспечивает доступное 100 Gb-соединение, которое насыщает восстановление Ceph и перестановки Flink, а зеркальные загрузочные диски SATA освобождают линии PCIe для высокопроизводительных рабочих нагрузок.

Я включил аннотированную блок-схему — там есть устаревшие элементы/ошибки, но править в Adobe — настоящая боль, на 99% всё правильно. Основная проблема там в том, что я немного теряю слоты PCIe с Optane, но эта конфигурация должна помочь мне начать работу, думаю.

Для расширения PCIe в слот 4 я планирую использовать это: https://www.aliexpress.com/item/1005003768261205.html

У меня есть эти серверы Milan пару лет, и они всегда были стабильными. Планирую выделить corosync в отдельный физический сетевой уровень.

Ищу любые серьезные недостатки, которые я мог упустить, или проблемы с этой конструкцией — все комментарии приветствуются!
31.05.2025 08:36:00, mangos.]]> http://proxmox.su/forum/messages/forum63/message321496/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost http://proxmox.su/forum/messages/forum63/message321496/77284-3_uzlovoy-proxmox-epyc-7t83-_7763_-_-10-_-nvme-na-khost-_-100-gbe-ceph-_-flink-_-kafka-_-prover-menya-na-vmenyaemost Sat, 31 May 2025 08:36:00 +0300 Proxmox Виртуальная Среда