Привет! Некоторое время назад мы перешли с VMware на Proxmox. По началу все шло гладко, и мы были очень довольны. Но в последние дни у нас около 120 виртуальных машин, подключенных по iSCSI к сетевому хранилищу, состоящему из двух Dell PSM4110XS. Для разбиения мы используем общую LVM. Этот тип хранения включает как SSD, так и HDD, так что высокие скорости ввода-вывода возможны. Мы ожидаем производительность около 150-250 МБ/с от каждой ВМ. Dell Eqallogic показывает нам, что: - максимальные возможные IOPS - 4667 - общие IOPS - 752 - нагрузка ввода-вывода - низкая (так что есть еще запас) - значения чтения/записи - 30/70% - iscsi подключения - 34 - использование сети - 0,5% - общая скорость канала - 2,35 ГБ/с - TCP повторная передача < 0,1% Каждый сервер Blade (узел) в нашем шасси подключен через интерфейс 10Gbit/s к хранилищу. Так что узкого места нет. Мы провели несколько тестов с помощью dd (чтение и запись), и мы получили лишь около 8 МБ/с. Во время этого теста мониторинг онлайн-хранилища показывает среднюю глубину очереди в тысячах, например, 100 000. Когда это было на VMware, максимальная глубина очереди составляла 10. Мы пробовали менять драйверы сетевых карт, настраивать производительность TCP и параметры iSCSI, но ничего не помогло. Поэтому мы подключили наше другое резервное хранилище PS4100 (только 1Gbit/s соединение), чтобы устранить фактическую реальную нагрузку трафика для более объективных результатов тестирования. Мы создали новый том только для тестов производительности и запустили ту же команду dd (dd if=/dev/urandom of=/root/img bs=4M count=1024 status=progress) сначала из VMware 6.5, а затем из последнего Proxmox. VMware работает на 106 МБ/с (ограничение интерфейса на чтение/запись), а Proxmox снова только 8 МБ/с. Оба система имеют одно iscsi подключение к резервному хранилищу, одинаковое оборудование. У нас также есть опыт работы с файловой системой только для чтения. Некоторые ВМ случайным образом переключаются в режим только для чтения, и нам приходится их перезагружать. Это происходит не часто, но бывает. Мы думаем, что эта проблема тоже связана с проблемой iSCSI. Где может быть проблема? Нам очень нравится интерфейс Proxmox и экосистема вокруг (Debian), но мы находимся в тупике... Мы не знаем, где совершаем ошибку. Спасибо за любую помощь, мы не хотим возвращаться к VMware.