Привет, это сообщение, чтобы узнать, может кто-то поделиться опытом работы с Gluster в качестве общих хранилищ Proxmox. Я решил попробовать GlusterFS, и производительность была очень плохой в начале. У меня есть только одна среда для тестирования, поэтому все испытания проходят на одних и тех же машинах, я просто меняю конфигурации. Есть 4 физических машины: 2 узла Proxmox и 2 NAS PVE-01 PVE-02 NAS-01 NAS-02. Обычно я запускаю ВМ на NAS-02, который новее и быстрее, а NAS-01, который старый и медленный, используется как сервер резервного копирования. Оба NAS работают на OMV (Open Media Vault 4.X), настроенном для предоставления NFS и CIFS. PVE-01 и PVE-02 подключены к NAS-02 по NFS, и производительность ВМ хорошая. Я установил GlusterFS на оба NAS и настроил его как реплицированный (это было очень легко). Существует отдельная сеть с включенными jumbo frames для связи между NAS-01 и NAS-02 для трафика "brick" Gluster. Я знаю, что нет третьего узла (арбитра), но это тестовая среда в локальной сети. На следующем этапе я настраиваю хранилище Gluster с PVE-01 Datacenter и восстанавливаю резервную копию ВМ в это хранилище Gluster. ВМ работает, но очень медленно. После дополнительных тестов я решил изменить конфигурацию NAS и создал NFS OMV на "локальном" GlusterFS на NAS-01. Я удалил конфигурацию Gluster из PVE-01 Datacenter и создал хранилище NFS, указывающее на NAS-02. Снова восстановил запасную копию ВМ, и она работает так же быстро, как и предыдущее расшаривание NFS, получая доступ к локальным дискам. Затем я снова решил протестировать хранилище Gluster из PVE-01 Datacenter, и производительность была действительно плохой. Я вернулся к GlusterFS через NFS (не NFS Ganesha), так как я запускаю OMV NFS, и производительность вернулась в норму. Может кто-то прокомментировать или помочь понять, что еще можно сделать для диагностики причин медленного соединения клиента GlusterFS? Прямое соединение с использованием gluster-client должно быть быстрее или на уровне NFS соединения. Очень важный момент: я использую GlusterFS версии 6.3.1 и обновил gluster-client и gluster-common на обоих узлах PVE. Так что, когда я создал хранилище Gluster из PVE-01 Datacenter, оно работало на новой версии gluster-client. По умолчанию PVE использует версию 3.8.8 для gluster-client, которая несовместима с версией gluster-server 6.3.1. Также важно отметить, что я всегда проверял, что файлы были созданы в glusterfs. Это верно как для прямого соединения PVE, так и для соединения PVE NFS. =============================== GlusterFS использует шарды root@nas-02:~# gluster volume info Volume Name: gluster01 Type: Replicate Volume ID: c82432fc-41ec-422f-8898-9b9fa3ce3b3f Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: gpeer-01.XYZ Brick2: gpeer-02.XYZ Options Reconfigured: features.shard-block-size: 32MB features.shard: enable client.event-threads: 2 transport.address-family: inet nfs.disable: on performance.client-io-threads: on =============================== =============================== Это команда монтирования, используемая OMV (пакет удаленного монтирования) для доступа к Gluster на локальном узле gpeer-02:/gluster01 на /srv/9733531f-71aa-42d1-b456-0d00e9942a89 type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,allow_other,max_read=131072,_netdev) =============================== Спасибо за ваше время и внимание к этому. Ссылки: https://access.redhat.com/documenta...ration_guide/sect-creating_replicated_volumes https://www.linux-kvm.org/images/5/51/03x04-Martin_Sivak-oVirt_and_gluster_hyperconverged.pdf https://lenovopress.com/lp1148.pdf С уважением, Рикардо Хорхе Я никоим образом не связан с какими-либо компаниями и/или проектами, упомянутыми в этом сообщении.