Настройка состоит из 3 кластеров Proxmox для вычислений, 3 кластеров Ceph-узлов хранения: ceph01 8*150GB SSD (1 используется для ОС, 7 для хранения), ceph02 8*150GB SSD (1 используется для ОС, 7 для хранения), ceph03 8*250GB SSD (1 используется для ОС, 7 для хранения). Когда я создаю виртуальную машину на узле Proxmox, используя хранилище Ceph, я получаю следующую скорость (пропускная способность сети НЕ является узким местом). Запись на ВМ, где HDD в Ceph. Код: [root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct 1024+0 записей в 1024+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 46.7814 с, 23.0 МБ/с
[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct 1+0 записей в 1+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 15.5484 с, 69.1 МБ/с. Для сравнения, ниже записано на ВМ на Proxmox, SSD такие же по модели. Запись на ВМ, где HDD в Proxmox. Код: [root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct 1024+0 записей в 1024+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 10.301 с, 104 МБ/с
[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct 1+0 записей в 1+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 7.22211 с, 149 МБ/с. У меня есть следующий пул Ceph. Код: size/min = 3/2 pg_num = 2048 ruleset = 0. Запущено 3 монитора на тех же хостах, журналы хранятся на каждом собственном OSD. Запущен последняя версия Proxmox с Ceph Hammer. Есть ли какие-либо предложения, на что нам следует обратить внимание для улучшения? Это пул Ceph? Это журналы? Имеет ли значение, если журнал находится на том же диске, что и ОС (/dev/sda) или OSD (/dev/sdX)?
[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct 1+0 записей в 1+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 15.5484 с, 69.1 МБ/с. Для сравнения, ниже записано на ВМ на Proxmox, SSD такие же по модели. Запись на ВМ, где HDD в Proxmox. Код: [root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct 1024+0 записей в 1024+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 10.301 с, 104 МБ/с
[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct 1+0 записей в 1+0 записей из 1073741824 байт (1.1 ГБ) скопировано, 7.22211 с, 149 МБ/с. У меня есть следующий пул Ceph. Код: size/min = 3/2 pg_num = 2048 ruleset = 0. Запущено 3 монитора на тех же хостах, журналы хранятся на каждом собственном OSD. Запущен последняя версия Proxmox с Ceph Hammer. Есть ли какие-либо предложения, на что нам следует обратить внимание для улучшения? Это пул Ceph? Это журналы? Имеет ли значение, если журнал находится на том же диске, что и ОС (/dev/sda) или OSD (/dev/sdX)?
