+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

VM зависает в vi, но работает echo — 100% ожидания ввода/вывода на Ceph RBD (Proxmox)., Proxmox Виртуальная Среда

emp_c

Guest

27.06.2025 04:38:00

Столкнулся с проблемой зависания ввода-вывода для ВМ при работе с Ceph RBD в Proxmox. Эта ошибка возникает уже больше года и серьезно влияет на стабильность системы.

Среда: Proxmox (8.1.3) с Ceph (17.2.7)
ВМ: RHEL 8
Хранилище: Ceph RBD (блочное устройство) → ВМ как XFS и ext4 диск
Монтирование: fstab с настройками по умолчанию
Конфигурация ВМ: VirtIO-SCSI single, discard=on, эмуляция SSD

Триггер: случайные ошибки зависания ввода-вывода происходят примерно раз в 1-6 месяцев при обычном использовании ВМ с использованием стресс-теста fio, часового резервного копирования и операций создания и освобождения блоков памяти. Зависания происходят в течение 1-7 дней.

Симптомы:

1. Высокое время ожидания ввода-вывода: iostat показывает, например, avg-cpu: %iowait 43.71%, %idle 56.22% sdX: %util 100.00% Но все метрики ввода-вывода равны 0: r/s=0, w/s=0, rMB/s=0, wMB/s=0, aqu-sz=0
2. Операции: echo "abc" > new_file.txt (работает) echo "abc" >> existing_file.txt (работает) vi any_file.txt (ВМ замерзает на неопределенный срок) cp old_file.txt new_file.txt (ВМ замерзает на неопределенный срок)
3. Обходной путь: Live-миграция ВМ на другой узел Proxmox временно решает проблему, или перезагрузка ВМ решает проблему.

Проверены следующие настройки, но проблема сохраняется:

1. Отключение KSM на узле Proxmox
2. Async IO=native / io_uring / threads
3. Контроллер SCSI: Virtio SCSI Single / Virtio SCSI
4. Отключение fs-freeze
5. Отключение QEMU guest agent

Вопрос: Есть ли какие-то идеи, как расследовать и исправить эту проблему? Это какой-то известный тупик для текущих настроек?

Спасибо за помощь.

LnxBil Guest	#2 0 27.06.2025 07:59:00 Есть ли сообщение об ошибке, или просто зависает? Попробуйте проследить (`strace`) команду `cp`, которая зависает.

fba Guest	#3 0 27.06.2025 08:37:00 Раз ты используешь Ceph в качестве хранилища, проверь его состояние командами `ceph status` и `ceph health detail`.

emp_c

Guest

30.06.2025 04:09:00

Спасибо за информацию. Во время зависаний даже `strace` использовать невозможно. Теперь происходит ещё один серьёзный завис, когда:

1. `iostat` показывает "%util 100.00%", но все метрики ввода-вывода равны 0: r/s=0, w/s=0, rMB/s=0, wMB/s=0, aqu-sz=0.
2. `strace -T -ttt -f -yy -o strace_normal.log cp test.txt test2.txt` успешно выполняется "один раз", после чего все команды `cp` зависают.
3. `timeout 5 strace -T -ttt -f -yy -o strace_cp2.log cp test.txt test3.txt` не создаёт файл журнала и не даёт никакого вывода, также зависает, и `timeout` не работает.

Последний "нормальный" `strace` из шага 2 выше прилагается.

---

Для `ceph status`:

```
ceph -s
cluster:
id: 3151d9c6-878b-4e2b-95cd-df771eb6479e
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph1,ceph2,ceph3 (age 27h)
mgr: ceph1(active, since 28h), standbys: ceph3, ceph2
osd: 12 osds: 12 up (since 2d), 12 in (since 2d)
data:
pools: 4 pools, 193 pgs
objects: 2.70M objects, 10 TiB
usage: 30 TiB used, 34 TiB / 64 TiB avail
pgs: 191 active+clean
io:
client: 11 KiB/s rd, 752 KiB/s wr, 3 op/s rd, 75 op/s wr
```

emp_c Guest	#5 0 03.07.2025 04:52:00 Виртуальная машина перестала зависать с /var/log/message. Сообщения возобновились после выполнения Live Migration. Еще одно наблюдение: на тестовом сайте мы делаем резервное копирование каждые 2 часа. Когда возникают проблемы с простоем, несколько случаев происходят вскоре после запуска Proxmox Backup Server для создания обычного снимка. Есть ли вероятность, что резервное копирование может создавать взаимную блокировку?

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры