Я попытался выполнить оффлайн-миграцию. Proxmox выдает: Выполняется HA миграция для ВМ 100 на узел KNTCLCN003. Пытаюсь перенести pvevm:100 на KNTCLCN003... Временный сбой, попробуйте снова. ОШИБКА ЗАДАЧИ: команда 'clusvcadm -M pvevm:100 -m KNTCLCN003' завершилась с кодом выхода 250. Когда я ввожу команду "clusvcadm -M pvecm:100 -m KNTCLCN003" напрямую в консоль, получаю: Пытаюсь перенести pvecm:100 на KNTCLCN003... Сервис не существует.

На всех четырёх моих узлах файл /etc/pve/cluster.conf выглядит так:

<?xml version="1.0"?>  
<cluster name="Cluster" config_version="6">  
 <cman keyfile="/var/lib/pve-cluster/corosync.authkey"></cman>  
 <fencedevices>  
   <fencedevice agent="fence_ipmilan" name="KNTCLCN001" lanplus="1" ipaddr="10.89.99.51" login="root" passwd="password" power_wait="5"/>  
   <fencedevice agent="fence_ipmilan" name="KNTCLCN002" lanplus="1" ipaddr="10.89.99.50" login="root" passwd="password" power_wait="5"/>  
   <fencedevice agent="fence_ipmilan" name="KNTCLCN003" lanplus="1" ipaddr="10.89.99.49" login="root" passwd="password" power_wait="5"/>  
   <fencedevice agent="fence_ipmilan" name="KNTCLCN004" lanplus="1" ipaddr="10.89.99.48" login="root" passwd="password" power_wait="5"/>  
 </fencedevices>  
 <clusternodes>  
   <clusternode name="KNTCLCN001" votes="1" nodeid="1">  
     <fence>  
       <method name="1">  
         <device name="KNTCLCN001"/>  
       </method>  
     </fence>  
   </clusternode>  
   <clusternode name="KNTCLCN002" votes="1" nodeid="2">  
     <fence>  
       <method name="1">  
         <device name="KNTCLCN002"/>  
       </method>  
     </fence>  
   </clusternode>  
   <clusternode name="KNTCLCN003" votes="1" nodeid="3">  
     <fence>  
       <method name="1">  
         <device name="KNTCLCN003"/>  
       </method>  
     </fence>  
   </clusternode>  
   <clusternode name="KNTCLCN004" votes="1" nodeid="4">  
     <fence>  
       <method name="1">  
         <device name="KNTCLCN004"/>  
       </method>  
     </fence>  
   </clusternode>  
 </clusternodes>  
 <rm>  
   <service autostart="1" exclusive="0" name="ha_test_ip" recovery="relocate">  
     <ip address="10.89.99.30"/>  
   </service>  
   <pvevm autostart="1" vmid="100"/>  
   <pvevm autostart="1" vmid="101"/>  
 </rm>  
</cluster>

На узле KNTCLCN001, который работает, вывод clustat -x:

<?xml version="1.0"?>  
<clustat version="4.1.1">  
 <cluster name="Cluster" id="11316" generation="108"/>  
 <quorum quorate="1" groupmember="1"/>  
 <nodes>  
   <node name="KNTCLCN001" state="1" local="1" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000001"/>  
   <node name="KNTCLCN003" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000002"/>  
   <node name="KNTCLCN004" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000003"/>  
 </nodes>  
 <groups>  
   <group name="pvevm:100" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="3" last_transition="1340250847" last_transition_str="Wed Jun 20 22:54:07 2012"/>  
   <group name="pvevm:101" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="0" last_transition="1340250893" last_transition_str="Wed Jun 20 22:54:53 2012"/>  
 </groups>  
</clustat>

На узле KNTCLCN003, который не работает, вывод clustat -x:

<clustat version="4.1.1">  
 <cluster name="Cluster" id="11316" generation="108"/>  
 <quorum quorate="1" groupmember="1"/>  
 <nodes>  
   <node name="KNTCLCN001" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000001"/>  
   <node name="KNTCLCN003" state="1" local="1" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000002"/>  
   <node name="KNTCLCN004" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000003"/>  
 </nodes>  
 <groups>  
   <group name="pvevm:100" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="3" last_transition="1340251271" last_transition_str="Wed Jun 20 23:01:11 2012"/>  
   <group name="pvevm:101" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="0" last_transition="1340250893" last_transition_str="Wed Jun 20 22:54:53 2012"/>  
 </groups>  
</clustat>

На узле KNTCLCN004, который не работает, вывод clustat -x:

<?xml version="1.0"?>  
<clustat version="4.1.1">  
 <cluster name="Cluster" id="11316" generation="108"/>  
 <quorum quorate="1" groupmember="1"/>  
 <nodes>  
   <node name="KNTCLCN001" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000001"/>  
   <node name="KNTCLCN003" state="1" local="0" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000002"/>  
   <node name="KNTCLCN004" state="1" local="1" estranged="0" rgmanager="1" rgmanager_master="0" qdisk="0" nodeid="0x00000003"/>  
 </nodes>  
 <groups>  
   <group name="pvevm:100" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="3" last_transition="1340251271" last_transition_str="Wed Jun 20 23:01:11 2012"/>  
   <group name="pvevm:101" state="112" state_str="started" flags="0" flags_str="" owner="KNTCLCN003" last_owner="KNTCLCN004" restarts="0" last_transition="1340250893" last_transition_str="Wed Jun 20 22:54:53 2012"/>  
 </groups>  
</clustat>

Я заметил это в интерфейсе Proxmox в разделе syslog для KNTCLCN003:  
Jun 21 23:41:54 KNTCLCN003 pmxcfs[1416]: [status] notice: ошибка обновления RRDC /var/lib/rrdcached/db/pve2-vm/101: -1
Jun 21 23:42:04 KNTCLCN003 pmxcfs[1416]: [status] notice: ошибка обновления RRDC /var/lib/rrdcached/db/pve2-vm/101: -1
Jun 21 23:42:14 KNTCLCN003 rrdcached[1362]: queue_thread_main: rrd_update_r (/var/lib/rrdcached/db/pve2-vm/101) завершился с ошибкой -1. (/var/lib/rrdcached/db/pve2-vm/101: незаконная попытка обновления с использованием времени 1340339867, когда последнее обновление было в 1340340124 (минимальный шаг — одна секунда))
Jun 21 23:42:15 KNTCLCN003 pmxcfs[1416]: [status] notice: получен лог
Jun 21 23:42:15 KNTCLCN003 pmxcfs[1416]: [status] notice: получен лог
Jun 21 23:42:19 KNTCLCN003 rgmanager[24812]: [pvevm] VM 101 запущена
Jun 21 23:42:22 KNTCLCN003 pvedaemon[24666]: ошибка аутентификации; rhost= user=root@pam msg=Authentication failure
Jun 21 23:42:22 KNTCLCN003 pmxcfs[1416]: [status] notice: получен лог
Jun 21 23:42:31 KNTCLCN003 pvedaemon[2365]: worker 17081 завершил работу
Jun 21 23:42:31 KNTCLCN003 pvedaemon[2365]: запуск 1 worker(ов)
Jun 21 23:42:31 KNTCLCN003 pvedaemon[2365]: worker 24866 запущен
Jun 21 23:42:39 KNTCLCN003 rgmanager[24887]: [pvevm] VM 101 запущена
Jun 21 23:42:49 KNTCLCN003 rgmanager[24937]: [pvevm] VM 101 запущена
Jun 21 23:43:19 KNTCLCN003 rgmanager[25027]: [pvevm] VM 101 запущена
Jun 21 23:43:30 KNTCLCN003 kernel: kvm: эмуляция обмена как запись  
Jun 21 23:43:39 KNTCLCN003 rgmanager[25061]: [pvevm] VM 101 запущена
Jun 21 23:43:49 KNTCLCN003 rgmanager[25088]: [pvevm] VM 101 запущена

Эти сообщения заставили меня задуматься. Я объединил все свои узлы в кластер до входа в интерфейс Proxmox. Я заходил в веб-интерфейс Proxmox с IP-адреса первого узла кластера. Я ни разу не заходил на другие узлы. При входе на первый узел меня даже не просили ввести логин и пароль для узлов KNTCLCN003 и KNTCLCN004. Может, потому что узлы 3 и 4 никогда не запрашивали имя пользователя и пароль, я не аутентифицирован на них с точки зрения Proxmox?  

Тогда я попробовал зайти по IP-адресу каждого узла и залогиниться. Но безрезультатно. Потом я решил попробовать мигрировать виртуальную машину с KNTCLCN001 на KNTCLCN003. После этого я зашёл на IP-адрес KNTCLCN003 и смог открыть консоль виртуальной машины.  

Похоже, что я могу получить доступ к виртуальной машине только с того узла, на котором она запущена. Странно, но хотя бы решение есть.

Возможно, что-то не так с сертификатами. Попробуй: # pvecm -f updatecerts Затем перезагрузи сервер.

Какие-нибудь идеи? У меня всё ещё появляется это сообщение. Я не могу получить доступ ни к одной из виртуальных машин, которые не запущены на моём первом узле.

Я уже пробовал это. Даже пытался остановить виртуальную машину после миграции и снова её запустить. Если переместить ВМ обратно на Узел 1, то консольное окно появляется.