+7 (495) 320-70-49
- Назад
- Телефоны
- +7 (495) 320-70-49
- Заказать звонок
info@proxmox.su
Москва, Бакунинская улица, 69с1
Пн-Пт: 09-00 до 18-00
Сб-Вс: выходной

[РЕШЕНО] Файловые системы VM сломались после падения узла кластера., Proxmox Виртуальная Среда

woodstock

Guest

07.10.2024 11:08:00

Всем привет! У нас работает кластер (версия 8.2.7), подключенный к отдельному кластеру Ceph, работающему на Reef (18.2.4). Несколько раз за последние годы (два-три) нода перезагружалась с "жестким" выключением/сбросом. Мы так и не смогли понять, что это вызвало. Нода поднималась и работала снова без проблем, но все ВМ (с HA и без) на ней имели файловую систему, которую не удалось восстановить никаким способом. Все ВМ пришлось восстанавливать из бэкапов. Сейчас я думаю, можно ли как-то настроить Proxmox и ВМ, чтобы это не происходило. После последнего инцидента мы попробовали перейти на direct sync cache, но это не помогло в этот раз. У кого-нибудь есть опыт в этом вопросе и можете что-нибудь посоветовать?

michel.seicon

Guest

08.10.2024 16:34:00

Привет! Заметил, что когда работает одиночный нод Proxmox, он сам перезагружается. А когда он входит в группу — этого не происходит. Очень странно, но у меня тоже так происходит, и я не знаю, как это исправить, потому что это происходит очень редко.

woodstock

Guest

17.10.2024 09:45:00

Перефразирую свой вопрос: какие настройки кэша для Proxmox (librbd) и Ceph позволят избежать этого? Есть ли способ полностью отключить I/O-кэширование для виртуальных машин Proxmox, диски которых находятся на Ceph-хранилище?

Johannes S Guest	#4 0 17.10.2024 09:50:00 По идее, это можно настроить в настройках диска в виртуальной машине. Не знаю, можно ли установить системное или кластерное значение по умолчанию.

woodstock

Guest

17.10.2024 11:46:00

Спасибо за ответ. Я знаю эти настройки. Но я не уверен, что они делают в комбинации с внешним кластером Ceph. Мы уже используем direct sync, и это не предотвратило поврежденные файловые системы. Есть ли какой-то слой, который это объясняет?

VictorSTS

Guest

17.10.2024 13:53:00

В теории, прямой синхронизация должна отправлять все записи, синхронные или асинхронные, в синхронном режиме на хранилище. Ceph по умолчанию подтверждает запись на, как минимум, два OSD, прежде чем вернуть ACK клиенту (в данном случае PVE). Так что, если PVE и Ceph настроены корректно, этого не должно происходить. Настройки PVE понятны, а какая конфигурация Ceph в этом Ceph-кластере? Происходит ли это, если вы принудительно выключите питание вручную (то есть, можете ли вы легко воспроизвести проблему?).

woodstock Guest	#7 0 17.03.2025 13:07:00 Пишу это на случай, если у кого-то возникнет такая же проблема. Выяснили, что пользователю Ceph нужны другие права/возможности. Раньше мы использовали: Код: mon = "allow r" osd = "allow * pool=poolname" В какой-то момент в прошлом нам советовали использовать это как минимум необходимого. Пришлось поменять на: Код: mgr 'profile rbd' mon 'profile rbd' osd 'profile rbd pool=poolname' Похоже, что наши старые возможности не включали блокировку и/или разблокировку образа.

Читают тему

Главная Каталог 0 Корзина 0 Избранные Кабинет 0 Сравнение Акции Контакты Услуги Бренды Отзывы Компания Лицензии Документы Реквизиты Поиск Блог Обзоры