7 Replies Latest reply on Nov 5, 2019 4:23 AM by slik_45

    Vsan, странное поведение

    slik_45 Lurker

      Добрый день.

      Имеем следующее, 4 хоста, собрано в кластер.

      На всех хостах стоит VMware ESXi, 6.5.0, 14874964. все патчи, обновления установлены.

       

      Есть очень жесткий косяк, произвольно, на любой хард ноде может залипнуть сетевая карта которая отведена под VSAN.

      Игрался с размером MTU, не помогло, менял сетевые местами под сервисы, включал на двух сетевых VSAN, пару раз крепко залипило менеджемт.

       

      На трех нодах стоят такие сетевые

       

      vmnic0 0000:01:00.0 igb Up 1000Mbps Full  Intel Corporation 82576 Gigabit Network Connection

      vmnic1 0000:01:00.1 igb Up 1000Mbps Full  Intel Corporation 82576 Gigabit Network Connection

       

      На четвертой ноде стоят такие сетевые карты

       

      vmnic0 0000:03:00.0 bnx2 Up 1000Mbps QLogic Corporation NC382i Integrated Multi Port PCI Express Gigabit Server Adapter

      vmnic1 0000:03:00.1 bnx2 Up 1000Mbps QLogic Corporation NC382i Integrated Multi Port PCI Express Gigabit Server Adapter

       

      По интерфейсам который веделен под VSAN средне суточный траффик порядка 120 мбит, запаса по сети хвататет.

      Помогает только передергивание интерфейса с 1000 мбит на авто, тогда он оживает, на портах коммутатора ошибок нет, патчкорды менял.

      Все сети разделены VLAN.

       

      Куда смотреть, на что обратить внимание ?

        • 1. Re: Vsan, странное поведение
          Finikiez Master
          vExpert

          Здравствуйте!

           

          А что значит "залипило"?

           

          vmkping через vmkernel под vSAN в момент, когда вылезают проблемы, проходит?

           

          Из того что смотреть надо:

          1. Версию используемых драйверов сетевых адаптеров на нодах кластера.

          2. Используются ли отдельные VLAN для сети управления и сети vSAN?

          3. Лог vmkernel на хосте в момент, когда возникла проблема, на предмет ошибок в работе драйвера сетевого адаптера

          4. Все же понять, куда хосты подключены. Что за коммутатор? Какая конфигурация портов на коммутаторе? Какая конфигурация политики балансировки на хостах?

          5. У вас гибридный vSAN? Потому что только для гибридного vSAN поддерживается гигабитное подключение.

          • 2. Re: Vsan, странное поведение
            slik_45 Lurker

            Залипло - означает что пропадает пинг на этот интерфейс

            vmkping через vmkernel под vSAN в момент - нет, пинг не проходит.

             

            1. Версию используемых драйверов сетевых адаптеров на нодах кластера.

            esxcli software vib list | grep igb

            igbn                           0.1.1.0-4vmw.650.3.96.13932383        VMW     VMwareCertified   2019-10-19 

            net-igb                        5.0.5.1.1-5vmw.650.0.0.4564106        VMW     VMwareCertified   2019-10-19 

            esxcli software vib list | grep bnx

            bnxtnet                        20.6.101.7-23vmw.650.3.96.13932383    VMW     VMwareCertified   2019-07-17 

            net-bnx2                       2.2.4f.v60.10-2vmw.650.0.0.4564106    VMW     VMwareCertified   2019-04-06 

            net-bnx2x                      1.78.80.v60.12-1vmw.650.0.0.4564106   VMW     VMwareCertified   2019-04-06 

            scsi-bnx2fc                    1.78.78.v60.8-1vmw.650.0.0.4564106    VMW     VMwareCertified   2019-04-06 

            scsi-bnx2i                     2.78.76.v60.8-1vmw.650.0.0.4564106    VMW     VMwareCertified   2019-04-06 

             

            2. Используются ли отдельные VLAN для сети управления и сети vSAN?

            Да, управление и vSAN отдельные VLAN

             

            3. Лог vmkernel на хосте в момент, когда возникла проблема, на предмет ошибок в работе драйвера сетевого адаптера

            В логе пусто, ничего подозрительного не нашел.

             

            4. Все же понять, куда хосты подключены. Что за коммутатор? Какая конфигурация портов на коммутаторе? Какая конфигурация политики балансировки на хостах?

            4а. Все хосты подключены в два разных коммутатора. Управление и vSAN в один, интерфейсы для виртуальных машин в другие. Настроен distributed switch, тут проблем нет, от слова совсем.

            4б. Какая конфигурация портов на коммутаторе? - Что имеется ввиду ? Все ограничения по прохождению траффика сняты, Jumbo 9k, только одинн VLAN под vSAN tag.

            4в. Какая конфигурация политики балансировки на хостах? - Вот тут немного не понял что имется ввиду.

             

            5. У вас гибридный vSAN? Потому что только для гибридного vSAN поддерживается гигабитное подключение.

            Да, гибридный.

            • 3. Re: Vsan, странное поведение
              Finikiez Master
              vExpert

              А можете по драйверам в другом виде выгрузку показать

              esxcli network  nic get -n vmnic# (# - нужный номер vmnic)

              По балансировке - какие настройки Teaming and failover в части load balancing на группах портов под vSAN? originating virtual port или что-то другое?

              Какие аппаратные коммутаторы используются?

               

               

              Как часто вообще все это происходит?


              Если было за последнее время и известна временная метка - показывайте vmkernel лог на посмотреть.

              • 4. Re: Vsan, странное поведение
                slik_45 Lurker

                esxcli network  nic get -n vmnic1

                   Advertised Auto Negotiation: true

                   Advertised Link Modes: 1000BaseT/Full

                   Auto Negotiation: true

                   Cable Type: Twisted Pair

                   Current Message Level: 7

                   Driver Info:

                         Bus Info: 0000:01:00.1

                         Driver: igb

                         Firmware Version: 1.4.3

                         Version: 5.0.5.1

                   Link Detected: true

                   Link Status: Up

                   Name: vmnic1

                   PHYAddress: 1

                   Pause Autonegotiate: true

                   Pause RX: false

                   Pause TX: false

                   Supported Ports: TP

                   Supports Auto Negotiation: true

                   Supports Pause: true

                   Supports Wakeon: true

                   Transceiver: internal

                   Virtual Address: 00:50:56:5b:0d:b8

                   Wakeon: MagicPacket(tm)

                Балансировки никакой нет, один физический интерфейс исключительно под vSAN

                Коммутаторы, D-link, Raisecom, пробовал и через Cisco и Juniper, ничего не меняется.

                Происходит это хаотично, без какой либо последовательности.

                Последний раз было в понедельник.

                Прикрепил граффик загрузки интерфейся через который бегат траффик vSAN, другого траффика по этому интерфейсу нет.

                node01.png

                • 5. Re: Vsan, странное поведение
                  slik_45 Lurker

                  В общем сегодня дважды смог воспроизвести данный баг.

                  Не то чтобы специально, но словил его дважды.

                   

                  Есть еще пара хранилищ на NFS, решил перенести оттуда пару машин на vSAN, спусти минут 15/20 сетефой интерфейс перестает отвечать, в логи вот что пишет.

                   

                  2019-11-02T10:17:04.713Z cpu6:66570)CMMDS: AgentRxHeartbeatRequest:1260: Agent replied to reliable heartbeat request.Last msg sent: 59 ms back

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDS: CMMDSStateMachineReceiveLoop:1131: Error receiving from 5ca87082-51f1-ea9d-61d3-80c16e23f318

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDS: CMMDSStateDestroyNode:676: Destroying node 5ca87082-51f1-ea9d-61d3-80c16e23f318: Failed to receive from node

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDS: AgentDestroyNode:1381: Lost master node (5ca87082-51f1-ea9d-61d3-80c16e23f318), can't handle that and will transition to discovery

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDSNet: CMMDSNet_SetMaster:1071: Updating master node: old=5ca87082-51f1-ea9d-61d3-80c16e23f318 new=none

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDS: CMMDSLogStateTransition:1309: Transitioning(5da02d30-a295-a5e4-3f35-0025906a91da) from Agent to Discovery: (Reason: Failed to receive from node)

                  2019-11-02T10:17:09.714Z cpu6:66570)CMMDS: UpdateDiscoveryInfoForNode:246: First time Init of discoveryInfo for node 5da02d30-a295-a5e4-3f35-0025906a91da as reported by node 5da02d30-a295-a5e4-3f35-0025906a91da.

                  2019-11-02T10:17:09.716Z cpu3:66583)DOM: DOMOwner_SetLivenessState:4961: Object e1f3365d-7dcf-7d01-a6d0-002590388072 lost liveness [0x43951e275080]

                  2019-11-02T10:17:09.717Z cpu3:66583)DOM: DOMOwner_SetLivenessState:4961: Object a290b65d-50f9-df05-4d74-002590388072 lost liveness [0x43951e1eacc0]

                  2019-11-02T10:17:09.717Z cpu7:66581)DOM: DOMOwner_SetLivenessState:4961: Object 41806e5c-508a-ab58-857c-00259099c4de lost liveness [0x43951e297a00]

                  2019-11-02T10:17:09.717Z cpu1:66584)DOM: DOMOwner_SetLivenessState:4961: Object 60a30c5d-f0c0-832e-2294-0025906a91da lost liveness [0x43951e35da00]

                  2019-11-02T10:17:09.717Z cpu7:66581)DOM: DOMOwner_SetLivenessState:4961: Object 39b3905c-8c58-fc78-44df-00259099c4de lost liveness [0x43951e352a80]

                  2019-11-02T10:17:09.717Z cpu1:66584)DOM: DOMOwner_SetLivenessState:4961: Object 5b29025d-8c4d-134e-d14d-002590388072 lost liveness [0x43951e0df0c0]

                  2019-11-02T10:17:09.717Z cpu3:66583)DOM: DOMOwner_SetLivenessState:4961: Object 95fc6e5c-3168-c459-8094-002590388072 lost liveness [0x43951e2c5300]

                   

                  2019-11-02T10:17:10.713Z cpu5:66570)CMMDSNet: CMMDSNetGroupIOReceive:1799: Creating node 5ca87082-51f1-ea9d-61d3-80c16e23f318 from host unicast channel: 10.10.10.33:12321.

                  2019-11-02T10:17:12.714Z cpu5:66570)CMMDS: CMMDSLogStateTransition:1309: Transitioning(5da02d30-a295-a5e4-3f35-0025906a91da) from Discovery to Rejoin: (Reason: Found a master node)

                  2019-11-02T10:17:12.714Z cpu5:66570)CMMDS: RejoinSetup:2732: Setting batching to 1

                  2019-11-02T10:17:12.714Z cpu5:66570)CMMDSNet: CMMDSNet_SetMaster:1071: Updating master node: old=none new=5ca87082-51f1-ea9d-61d3-80c16e23f318

                  2019-11-02T10:17:12.714Z cpu5:66570)CMMDS: CMMDSAgentlikeSetMembership:508: Setting new membership uuid 13f0b55d-5ade-1957-bdd2-80c16e23f318

                  2019-11-02T10:17:14.157Z cpu5:66570)CMMDSNet: CMMDSNetGroupIOReceive:1799: Creating node 5da6c454-62b1-66c4-5fdf-00259099c4de from host unicast channel: 10.10.10.33:12321.

                  2019-11-02T10:17:30.828Z cpu5:68778)HBX: 2959: '95fc6e5c-3168-c459-8094-002590388072': HB at offset 3424256 - Waiting for timed out HB:

                  2019-11-02T10:17:30.828Z cpu5:68778)  [HB state abcdef02 offset 3424256 gen 281 stampUS 654540065858 uuid 5db35b02-358edc0c-5bfb-0025906a91da jrnl <FB 502000> drv 14.81 lockImpl 4 ip 192.168.71.224]

                  2019-11-02T10:17:33.750Z cpu18:68863 opID=70dfc418)World: 12235: VC opID lro-3591722-5f08d905-06-01-9b-8ed5 maps to vmkernel opID 70dfc418

                  2019-11-02T10:17:33.750Z cpu18:68863 opID=70dfc418)WARNING: com.vmware.vmklinkmpi: VmklinkMPI_CallSync:1303: No response received for message 0x5d6e on osfs-vmklink (wait status Timeout)

                  2019-11-02T10:17:33.750Z cpu18:68863 opID=70dfc418)osfs: OSFSVmklinkCall:231: vmklink call failed with: Timeout

                  2019-11-02T10:17:33.750Z cpu18:68863 opID=70dfc418)osfs: OSFS_VmklinkLookup:479: Error making Lookup VmklinkCall

                  2019-11-02T10:17:33.750Z cpu18:68863 opID=70dfc418)osfs: OSFS_Lookup:2579: Lookup error: file = 82fc6e5c-fcf8-bbc5-e79b-002590388072, status = Timeout

                  2019-11-02T10:17:33.751Z cpu12:2225397 opID=70dfc418)WARNING: VSAN: Vsan_OpenDevice:1055: Failed to open VSAN device '82fc6e5c-fcf8-bbc5-e79b-002590388072' with DevLib: Busy

                  2019-11-02T10:17:33.751Z cpu12:2225397 opID=70dfc418)WARNING: VSAN: Vsan_OpenDevice:1055: Failed to open VSAN device '82fc6e5c-fcf8-bbc5-e79b-002590388072' with DevLib: Busy

                  2019-11-02T10:17:33.751Z cpu12:2225397 opID=70dfc418)Vol3: 2602: Could not open device '82fc6e5c-fcf8-bbc5-e79b-002590388072' for probing: Busy

                   

                  2019-11-02T10:18:56.107Z cpu20:2225627 opID=65caaa64)osfs: OSFS_MountChild:3913: Failed to probe OSFS child for device name '5eba6e5c-4dcd-7bf6-0155-002590388072': No filesystem on the device

                  2019-11-02T10:18:56.522Z cpu2:2225615 opID=70dfc418)Vol3: 1121: Couldn't read volume header from : No connection

                  2019-11-02T10:18:56.522Z cpu2:2225615 opID=70dfc418)Vol3: 1121: Couldn't read volume header from : No connection

                  2019-11-02T10:18:56.522Z cpu2:2225615 opID=70dfc418)Vol3: 1121: Couldn't read volume header from : No connection

                  2019-11-02T10:18:56.522Z cpu2:2225615 opID=70dfc418)Vol3: 1121: Couldn't read volume header from : No connection

                  2019-11-02T10:18:56.522Z cpu2:2225615 opID=70dfc418)osfs: OSFS_MountChild:3913: Failed to probe OSFS child for device name '82fc6e5c-fcf8-bbc5-e79b-002590388072': No filesystem on the device

                  2019-11-02T10:18:56.522Z cpu18:68863 opID=70dfc418)osfs: DebugDumpVmklinkResponse:787: {ID: 5d90; type:LOOKUP; pid:[    vsan]; cid:52165933297ec489-71adb8b215efc33f; status:No filesystem on the device; bufLen:0;

                  2019-11-02T10:18:56.522Z cpu18:68863 opID=70dfc418)osfs: OSFS_VmklinkLookup:492: Failure (p [    vsan], c 52165933297ec489-71adb8b215efc33f)

                  2019-11-02T10:18:56.522Z cpu18:68863 opID=70dfc418)osfs: OSFS_Lookup:2579: Lookup error: file = 82fc6e5c-fcf8-bbc5-e79b-002590388072, status = No filesystem on the device

                   

                   

                   

                  2019-11-02T10:19:31.745Z cpu17:68850 opID=5e7de0f7)NFS: 2329: [Repeated 2 times] Failed to get object (0x43912791b356) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:19:31.745Z cpu17:68850 opID=5e7de0f7)NFS: 2334: Failed to get object (0x43912791b386) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:19:31.745Z cpu17:68850 opID=5e7de0f7)NFS: 2334: Failed to get object (0x43912791b356) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:19:31.745Z cpu17:68850 opID=5e7de0f7)NFS: 2329: [Repeated 2 times] Failed to get object (0x43912791b356) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:19:31.745Z cpu17:68850 opID=5e7de0f7)NFS: 2334: Failed to get object (0x43912791b386) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:19:31.752Z cpu23:68843 opID=794a29f3)World: 12235: VC opID lro-3591721-4fcdfa5c-02-01-66-8edb maps to vmkernel opID 794a29f3

                  2019-11-02T10:19:31.752Z cpu23:68843 opID=794a29f3)osfs: OSFS_CreateFile:168: mkdir not enabled, failing mkdir request (pid: [    vsan], cid: 52165933297ec489-71adb8b215efc33f, childName: 83ba6e5c-0cec-47bb-064b-00259099c4de)

                  2019-11-02T10:19:31.764Z cpu23:68843 opID=794a29f3)osfs: OSFS_CreateFile:168: mkdir not enabled, failing mkdir request (pid: [    vsan], cid: 52165933297ec489-71adb8b215efc33f, childName: 83ba6e5c-0cec-47bb-064b-00259099c4de)

                  2019-11-02T10:19:31.775Z cpu23:68843 opID=794a29f3)osfs: OSFS_CreateFile:168: mkdir not enabled, failing mkdir request (pid: [    vsan], cid: 52165933297ec489-71adb8b215efc33f, childName: 83ba6e5c-0cec-47bb-064b-00259099c4de)

                   

                  После того как передернул интерфейс на сбойной ноде, сразу началось восстановление кластера

                   

                  2019-11-02T10:26:32.834Z cpu0:2227886)NFS: 2329: [Repeated 7 times] Failed to get object (0x439466c1b356) 36 f71d5946 3f751b68 c4b5cc0d 2b9cb0de 8000a 0 1b 0 0 0 0 0 :No connection

                  2019-11-02T10:26:32.834Z cpu0:2227886)NFS: 2334: Failed to get object (0x4394b571b3b6) 36 6c4fded0 190cf18b 263836c6 dd541de 8156000a 18 da1e2 0 0 0 0 0 :No connection

                  2019-11-02T10:26:36.118Z cpu3:67832)BC: 2471: Failed to write (uncached) object '.iormstats.sf': No connection

                  2019-11-02T10:26:38.959Z cpu10:66077)<6>igb: vmnic1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None

                  2019-11-02T10:26:39.730Z cpu3:66570)CMMDSNet: CMMDSNetGroupIOReceive:1799: Creating node 5ca87082-51f1-ea9d-61d3-80c16e23f318 from host unicast channel: 10.10.10.33:12321.

                  2019-11-02T10:26:39.730Z cpu3:66570)CMMDS: MasterAbdicateTo:4001: Abdicating to 5ca87082-51f1-ea9d-61d3-80c16e23f318, will transition in 5000 ms

                  2019-11-02T10:26:39.747Z cpu11:65629)NetPort: 1881: disabled port 0x3000002

                  2019-11-02T10:26:39.747Z cpu8:1407610)NetSched: 628: vmnic1-0-tx: worldID = 1407610 exits

                  2019-11-02T10:26:39.747Z cpu11:65629)Uplink: 10095: enabled port 0x3000002 with mac 00:25:90:6a:91:db

                  2019-11-02T10:26:40.340Z cpu1:66286)NFS: 346: Restored connection to the server 10.10.10.1 mount point /tank/nfsxen, mounted as f71d5946-3f751b68-0000-000000000000 ("NAS_01")

                  2019-11-02T10:26:40.340Z cpu3:65828)StorageApdHandler: 507: APD exit event for 0x430c25768510 [f71d5946-3f751b68]

                  2019-11-02T10:26:40.340Z cpu3:65828)StorageApdHandlerEv: 117: Device or filesystem with identifier [f71d5946-3f751b68] has exited the All Paths Down state.

                  2019-11-02T10:26:40.368Z cpu1:66286)NFSLock: 578: Start accessing fd 0x43045a7f2558(.iormstats.sf) again

                  2019-11-02T10:26:40.416Z cpu1:66286)NFSLock: 578: Start accessing fd 0x43045a788348(ubuntu-18.04.2-live-server-amd64.iso) again

                  2019-11-02T10:26:40.416Z cpu1:66286)NFSLock: 578: Start accessing fd 0x43045a7fd958(WINDOWS_7_PRO_OA_CIS_AND_GE_GSP1RMCPRXFREO_RU_DVD.iso) again

                  2019-11-02T10:26:44.657Z cpu10:66570)CMMDS: CMMDSLogStateTransition:1309: Transitioning(5da02d30-a295-a5e4-3f35-0025906a91da) from Master to Discovery: (Reason: Abdication timer expired)

                  2019-11-02T10:26:44.657Z cpu10:66570)CMMDSNet: CMMDSNet_SetMaster:1071: Updating master node: old=5da02d30-a295-a5e4-3f35-0025906a91da new=none

                  2019-11-02T10:26:44.657Z cpu10:66570)CMMDS: MasterRemoveNodeFromMembership:6581: Removing node 5da02d30-a295-a5e4-3f35-0025906a91da from the cluster membership

                  2019-11-02T10:26:44.657Z cpu10:66570)CMMDS: UpdateDiscoveryInfoForNode:246: First time Init of discoveryInfo for node 5da02d30-a295-a5e4-3f35-0025906a91da as reported by node 5da02d30-a295-a5e4-3f35-0025906a91da.

                  2019-11-02T10:26:44.730Z cpu10:66570)CMMDSNet: CMMDSNetGroupIOReceive:1799: Creating node 5ca87082-51f1-ea9d-61d3-80c16e23f318 from host unicast channel: 10.10.10.33:12321.

                  2019-11-02T10:26:46.730Z cpu2:66570)CMMDS: CMMDSLogStateTransition:1309: Transitioning(5da02d30-a295-a5e4-3f35-0025906a91da) from Discovery to Rejoin: (Reason: Found a master node)

                  2019-11-02T10:26:46.730Z cpu2:66570)CMMDS: RejoinSetup:2732: Setting batching to 1

                  2019-11-02T10:26:46.730Z cpu2:66570)CMMDSNet: CMMDSNet_SetMaster:1071: Updating master node: old=none new=5ca87082-51f1-ea9d-61d3-80c16e23f318

                  2019-11-02T10:26:46.730Z cpu2:66570)CMMDS: CMMDSAgentlikeSetMembership:508: Setting new membership uuid 13f0b55d-5ade-1957-bdd2-80c16e23f318

                  2019-11-02T10:26:47.730Z cpu2:66570)CMMDS: RejoinRxMasterHeartbeat:1941: Saw self listed in master heartbeat

                  2019-11-02T10:26:47.731Z cpu2:66570)CMMDS: RejoinRequestSnapshotWork:742: Send a snapshot request to master successfully.

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495441]:Inserting (actDir:0):u:5ca87082-51f1-ea9d-61d3-80c16e23f318 o:00000000-0000-0000-0000-000000000000 r:0 t:NODE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495442]:Inserting (actDir:0):u:5daab33b-8291-65be-07e7-002590388072 o:00000000-0000-0000-0000-000000000000 r:0 t:NODE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495443]:Inserting (actDir:0):u:5da6c454-62b1-66c4-5fdf-00259099c4de o:00000000-0000-0000-0000-000000000000 r:0 t:NODE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495462]:Inserting (actDir:0):u:4ad6a65d-e49b-601f-834d-00259099c4de o:5da6c454-62b1-66c4-5fdf-00259099c4de r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495463]:Inserting (actDir:0):u:bddf645d-7ca6-2851-b56c-0025906a91da o:5cbb0ad5-5b55-b0a4-f79d-0025906a91da r:2 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495464]:Inserting (actDir:0):u:0ab5645d-240a-5185-21f7-002590388072 o:5cc1867d-e247-57cd-6bcd-002590388072 r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495465]:Inserting (actDir:0):u:42b5645d-6841-0e96-f6f8-80c16e23f318 o:5ca87082-51f1-ea9d-61d3-80c16e23f318 r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495466]:Inserting (actDir:0):u:05b5645d-3413-68ce-2546-00259099c4de o:5cc05838-8052-12a0-c9aa-00259099c4de r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495467]:Inserting (actDir:0):u:4e9ca05d-3c94-b4f3-763f-0025906a91da o:5da02d30-a295-a5e4-3f35-0025906a91da r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.736Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:41: [495468]:Inserting (actDir:0):u:70bcaa5d-480f-9bf5-c2a0-002590388072 o:5daab33b-8291-65be-07e7-002590388072 r:1 t:NET_INTERFACE

                  2019-11-02T10:26:47.738Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:83: [496114]:Adding a new Membership entry (13f0b55d-5ade-1957-bdd2-80c16e23f318) with 4 members:

                  2019-11-02T10:26:47.738Z cpu2:66570)CMMDS: CMMDSUtil_PrintArenaEntry:87: [496114]:Inserting (actDir:0):u:5ca87082-51f1-ea9d-61d3-80c16e23f318 o:5ca87082-51f1-ea9d-61d3-80c16e23f318 r:7 t:SUB_CLUSTER_MEMBERSHIP

                  2019-11-02T10:26:47.739Z cpu2:66570)CMMDS: RejoinRxSnapshotResponse:639: Applied snapshot at master sequence number 8281258

                   

                  Еще предположение, что началось это после апдейтов.

                  Когда на всех нодах был билд 13932383, все работало корректно, горя не знал.

                  • 6. Re: Vsan, странное поведение
                    Finikiez Master
                    vExpert

                    Вы можете откатить версию гипервизора через нажатие Shift+R во время загрузки, если с момента обновления больше ничего не ставили\обновляли.

                     

                    Помимо прочего попробуйте обновить драйверы сетевых карт.
                    Они инбоксовые и не совсем актуальные.

                     

                     

                    Например для intel поддерживается по hcl версия igb драйвера 5.2.5 VMware vSphere 5: Private Cloud Computing, Server and Data Center Virtualization

                     

                    Для Qlogic такая же история.

                    • 7. Re: Vsan, странное поведение
                      slik_45 Lurker

                      Я все сервера переинсталил, откатиться уже не куда, увы.

                      Ссылку что Вы дали, она же для 5.5/6.0 у меня же 6.5