http://proxmox.su Новое в теме PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? форума Proxmox Виртуальная Среда на сайте Аспро: ЛайтШоп [proxmox.su] ru http://backend.userland.com/rss2 Wed, 08 Jul 2026 18:36:54 +0300 PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
RDMA в Ceph нет. Используется только Ethernet. Были попытки его реализовать, но от них отказались примерно 6-7 лет назад. https://github.com/Mellanox/ceph/tree/luminous-12.1.0-rdma
24.08.2023 14:44:00, alyarb.]]> http://proxmox.su/forum/messages/forum63/message329441/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329441/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Thu, 24 Aug 2023 14:44:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Просто из любопытства: если использовать 3 узла и Mellanox MC2207130 FDR кабель напрямую, от порта к порту, то есть от карты к карте без свитча, получится ли достичь заявленной скорости 40 Гбит/с?
27.10.2024 15:14:00, hassoon.]]> http://proxmox.su/forum/messages/forum63/message329440/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329440/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Sun, 27 Oct 2024 15:14:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Похоже, да, но нет. Я использую Mellanox adapter, чтобы построить сеть ipoib (поддерживается RoCE v1/v2), проблема в том, как настроить Ceph для работы с ipoib сетью, чтобы поддерживать функцию RDMA. Может, мои знания неверны, если да, пожалуйста, поправьте меня...
25.08.2023 03:13:00, realguob.]]> http://proxmox.su/forum/messages/forum63/message329439/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329439/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Fri, 25 Aug 2023 03:13:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет! Не мог бы ты поделиться своим ceph.conf, пожалуйста? У меня не получается использовать rdma в pve/ceph, и я создал тему в поисках помощи здесь: https://forum.proxmox.com/threads/ceph-in-pve-7-3-can-not-working-with-rdma-roce.132637/
24.08.2023 10:18:00, realguob.]]> http://proxmox.su/forum/messages/forum63/message329438/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329438/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Thu, 24 Aug 2023 10:18:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, для режима IPoIB нужна производительность одного ядра CPU. У процессора E5-2682v4 сейчас большая нагрузка от множества виртуальных машин. Если бы он был новым, то скорость передачи данных в тесте была бы около 40 Гбит/с, а в IPoIB — 56 Гбит/с FDR InfiniBand.
10.08.2022 04:56:00, kenneth104.]]> http://proxmox.su/forum/messages/forum63/message329437/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329437/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Wed, 10 Aug 2022 04:56:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ну, 20 Гбит/с – это не так уж и много... Я имею в виду, я использую Mellanox Connect3 IB pci карты с Arista switch в Ethernet режиме, и у меня получается 25 Гбит/с – я уверен, что можно ещё подкрутить, но и этого вполне достаточно для моих нужд. #networking #highspeednetworking
09.08.2022 17:06:00, brosky.]]> http://proxmox.su/forum/messages/forum63/message329436/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329436/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Tue, 09 Aug 2022 17:06:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Да, использую карту Infiniband 56Gbps и свитч. Работает в режиме IPoIB. Настраиваю IP over Infiniband через CLI, а Ceph — через GUI. Работает, но пропускная способность около 20Gbps.
09.08.2022 10:37:00, kenneth104.]]> http://proxmox.su/forum/messages/forum63/message329435/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329435/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Tue, 09 Aug 2022 10:37:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Поднимаю эту тему. Кто-нибудь успешно использует Proxmox с картами/коммутаторами Infiniband?
06.06.2022 10:22:00, brosky.]]> http://proxmox.su/forum/messages/forum63/message329434/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329434/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Mon, 06 Jun 2022 10:22:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Ваше приложение должно обеспечивать нативную, надёжную и постоянную поддержку. Ceph — это не одно из тех приложений. RDMA канули в Лету ещё давно.
16.06.2021 18:07:00, alyarb.]]> http://proxmox.su/forum/messages/forum63/message329433/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329433/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Wed, 16 Jun 2021 18:07:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Привет, спасибо большое, я как раз собирался делать это сам. Хорошо, что я написал! А ты пробовал что-нибудь ещё, типа EoIB или RDMA?
16.06.2021 18:01:00, foosec.]]> http://proxmox.su/forum/messages/forum63/message329432/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329432/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Wed, 16 Jun 2021 18:01:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Производительность 56Гб IPoIB была отвратительной, меньше, чем у 10ГбE. Я проигнорировал советы всех и сам убедился в этом, чтобы поверить. Эта тема оставлена для того, чтобы другие сделали то же самое: как хотите.
16.06.2021 17:34:00, alyarb.]]> http://proxmox.su/forum/messages/forum63/message329431/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329431/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Wed, 16 Jun 2021 17:34:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Это не работает по IP? Нельзя ли здесь использовать IPoIB?
16.06.2021 13:21:00, foosec.]]> http://proxmox.su/forum/messages/forum63/message329430/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329430/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Wed, 16 Jun 2021 13:21:00 +0300 Proxmox Виртуальная Среда PVE и Ceph на Mellanox Infiniband, какой текущий статус поддержки? Proxmox Виртуальная Среда в форуме Proxmox Виртуальная Среда.
Мы используем PVE и Ceph на серверах Dell в шасси Dell M1000e. Сейчас используем две картонные платы с 2x 10 GbE портами, один для Ceph front-end, один для Ceph back-end. Public LANs, guest LANs и Corosync обрабатываются 4x 10GbE картами через 40GbE MXL коммутаторы, так что там все хорошо. OSD – это 8TB intel P4510 NVMe/PCIe 3.0 диски, и мне нужно знать, как лучше построить Ceph сети, чтобы получить от них максимум. Поскольку Ceph front-end и back-end каждый состоит из 20 Gb LAG, наш I/O bottleneck довольно очевиден, а тестирование производительности показывает около 2 GB/s. Если объединить Ceph сети в один 40 Gb LAG, производительность становится немного хуже. Мне просто нужно узнать, учитывая ограничения M1000e, как лучше построить Ceph front/back end сети для наилучшей производительности гостевых VM? Какой опыт и мнение сообщества в целом? У нас есть варианты Infiniband 56 Gb и 40 Gb для нашего оборудования, которые мы рассматриваем, чтобы максимально отодвинуть bottleneck. Поддерживается ли Infiniband на PVE/Ceph? Вы используете их в чистом Infiniband режиме, в Ethernet режиме или IPoIB? Работает ли RDMA / используете ли вы его? Какую производительность вы получаете? Все доступные NIC основаны на ConnectX-3 silicon. FDR коммутатор — M4001F, а FDR10 коммутатор — M4001T, так что, видимо, FDR и FDR10 детали не взаимозаменяемы. Я все равно планирую как минимум 56 Gb. Все NIC – это двухпортовые NIC, и в шасси будет 4 коммутатора. Как можно объединить / агрегировать / связать ссылки, чтобы эффективно получить 112 Gb?
02.08.2020 00:50:00, alyarb.]]> http://proxmox.su/forum/messages/forum63/message329429/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki http://proxmox.su/forum/messages/forum63/message329429/78416-pve-i-ceph-na-mellanox-infiniband_-kakoy-tekushchiy-status-podderzhki Sun, 02 Aug 2020 00:50:00 +0300 Proxmox Виртуальная Среда