<?xml version="1.0" encoding="UTF-8"?>
<rss xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:taxo="http://purl.org/rss/1.0/modules/taxonomy/" version="2.0">
  <channel>
    <title>article vmsyslog filling up vCenter database in VMware vCenter™ Documents</title>
    <link>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/ta-p/2778136</link>
    <description>&lt;HTML&gt;&lt;HEAD&gt;&lt;/HEAD&gt;&lt;BODY&gt;&lt;P&gt;In our datacenter we had a few customers where their vCenter database filled up at an alarming rate. After checking in MSSQL what table was the culprit, we found out the VPX_EVENT and VPX_EVENT_ARG tables kept growing. Sure enough, in vCenter we saw a constant flow of these alerts:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;span class="lia-inline-image-display-wrapper" image-alt="vmsyslog1.jpg"&gt;&lt;img src="https://communities.vmware.com/t5/image/serverpage/image-id/56639iBBE4728595A1DA16/image-size/large?v=v2&amp;amp;px=999" role="button" title="vmsyslog1.jpg" alt="vmsyslog1.jpg" /&gt;&lt;/span&gt;&lt;/P&gt;&lt;P&gt;Also in the vmkernel.log file we saw similar messages:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:52:03.354Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:52:03.355Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.383Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 756 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.384Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.386Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.395Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 852 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.419Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 991 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.422Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 992 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.424Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 2 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.454Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1090 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.467Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1102 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.468Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 3 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:04:03.482Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1073 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:04:03.494Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1153 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:07:03.521Z cpu38:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 525 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:07:03.532Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 893 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.554Z cpu37:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 718 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.566Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 796 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.568Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.568Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:13:03.589Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 939 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:13:03.595Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 987 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:16:03.628Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 811 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:16:03.629Z cpu44:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 926 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.659Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 844 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.670Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 846 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.671Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.690Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 868 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.691Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.704Z cpu36:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 948 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:25:03.723Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 609 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:25:03.741Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 585 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:28:03.760Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 756 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:28:03.774Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 790 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.794Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 882 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.806Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 963 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.808Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:34:03.828Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 719 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.851Z cpu39:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1616 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.862Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;...&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;An issue with vmsyslog so it seems. Our syslog configuration however was perfectly fine:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;(/etc/vmsyslog.conf)&lt;/P&gt;&lt;P&gt;[DEFAULT]&lt;/P&gt;&lt;P&gt;loghost = &amp;lt;none&amp;gt;&lt;/P&gt;&lt;P&gt;default_timeout = 180&lt;/P&gt;&lt;P&gt;logdir_unique = false&lt;/P&gt;&lt;P&gt;rotate = 8&lt;/P&gt;&lt;P&gt;logdir = &amp;lt;none&amp;gt;&lt;/P&gt;&lt;P&gt;size = 1024&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;[vmsyslog]&lt;/P&gt;&lt;P&gt;loghost = tcp://10.122.126.71:514, tcp://10.122.126.5:514&lt;/P&gt;&lt;P&gt;rotate = 8&lt;/P&gt;&lt;P&gt;size = 1024&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;Digging a bit deeper into the syslog error log revealed this:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;(/var/log/.vmsyslogd.err)&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.861Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.866Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:40:03.895Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 1045 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:40:03.899Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:43:03.933Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 661 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:43:03.937Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:46:03.969Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:46:03.973Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:49:04.002Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 573 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:49:04.006Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:52:04.036Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 665 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:52:04.040Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;At this stage, I was starting to wonder if the other side was actually working fine. We use VMware Syslog Collector to capture these logs and although the service was running fine, we noticed this in the debug log:&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,345 - sc.twisted - Log observer &amp;lt;bound method DefaultObserver._emit of &amp;lt;twisted.python.log.DefaultObserver instance at 0x01095F80&amp;gt;&amp;gt; failed.&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;Traceback (most recent call last):&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\context.pyo", line 59, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 37, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\internet\selectreactor.pyo", line 154, in _doReadOrWrite&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 221, in err&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;--- &amp;lt;exception caught here&amp;gt; ---&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\log.pyo", line 292, in msg&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 623, in _emit&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;OL style="list-style-type: lower-alpha;"&gt;&lt;LI&gt;&lt;EM&gt;exceptions.IOError: [Errno 9] Bad file descriptor&lt;/EM&gt;&lt;/LI&gt;&lt;/OL&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,348 - sc.core - TCP connection lost from 192.168.243.200:49420&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,348 - sc.log - Error cleaning up state: '192.168.243.200'&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:47,546 - sc.core - New TCP connection from IPv4Address(TCP, '192.168.243.1', 58438)&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:47,549 - sc.twisted - Unhandled Error&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;Traceback (most recent call last):&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\log.pyo", line 84, in callWithLogger&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 69, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 59, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 37, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;--- &amp;lt;exception caught here&amp;gt; ---&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\internet\selectreactor.pyo", line 146, in _doReadOrWrite&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\internet\tcp.pyo", line 455, in doRead&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;After some digging around so see how this service actually works (it basically is a Python script), I've noticed the Twisted framework being used is actually quite old (v8.2). I've then replaced SyslogCollectorLibrary.zip (the whole Python 2.6 environment compressed) with a version in which I've included the latest version on Twisted for Python 2.6 (v12.0). I stopped the service, replaced the zip file and restarted the service and almost immediately the flow of events stopped.&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;I've attached this modified zip file so other people can see if it helps if they encounter this issue.&lt;/P&gt;&lt;/BODY&gt;&lt;/HTML&gt;</description>
    <pubDate>Thu, 04 Dec 2014 11:21:07 GMT</pubDate>
    <dc:creator>dieterbocklandt</dc:creator>
    <dc:date>2014-12-04T11:21:07Z</dc:date>
    <item>
      <title>vmsyslog filling up vCenter database</title>
      <link>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/ta-p/2778136</link>
      <description>&lt;HTML&gt;&lt;HEAD&gt;&lt;/HEAD&gt;&lt;BODY&gt;&lt;P&gt;In our datacenter we had a few customers where their vCenter database filled up at an alarming rate. After checking in MSSQL what table was the culprit, we found out the VPX_EVENT and VPX_EVENT_ARG tables kept growing. Sure enough, in vCenter we saw a constant flow of these alerts:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;span class="lia-inline-image-display-wrapper" image-alt="vmsyslog1.jpg"&gt;&lt;img src="https://communities.vmware.com/t5/image/serverpage/image-id/56639iBBE4728595A1DA16/image-size/large?v=v2&amp;amp;px=999" role="button" title="vmsyslog1.jpg" alt="vmsyslog1.jpg" /&gt;&lt;/span&gt;&lt;/P&gt;&lt;P&gt;Also in the vmkernel.log file we saw similar messages:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:52:03.354Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:52:03.355Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.383Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 756 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.384Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.386Z cpu42:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:55:03.395Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 852 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.419Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 991 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.422Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 992 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T22:58:03.424Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 2 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.454Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1090 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.467Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1102 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:01:03.468Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 3 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:04:03.482Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1073 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:04:03.494Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1153 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:07:03.521Z cpu38:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 525 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:07:03.532Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 893 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.554Z cpu37:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 718 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.566Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 796 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.568Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:10:03.568Z cpu37:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:13:03.589Z cpu44:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 939 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:13:03.595Z cpu40:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 987 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:16:03.628Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 811 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:16:03.629Z cpu44:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 926 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.659Z cpu38:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 844 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.670Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 846 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:19:03.671Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.690Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 868 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.691Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:22:03.704Z cpu36:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 948 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:25:03.723Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 609 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:25:03.741Z cpu46:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 585 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:28:03.760Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 756 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:28:03.774Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 790 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.794Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 882 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.806Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 963 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:31:03.808Z cpu40:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:34:03.828Z cpu42:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 719 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.851Z cpu39:3167699)ALERT: vmsyslog logger 10.122.126.71:514 lost 1616 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.862Z cpu36:3167700)ALERT: vmsyslog logger 10.122.126.5:514 lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;...&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;An issue with vmsyslog so it seems. Our syslog configuration however was perfectly fine:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;(/etc/vmsyslog.conf)&lt;/P&gt;&lt;P&gt;[DEFAULT]&lt;/P&gt;&lt;P&gt;loghost = &amp;lt;none&amp;gt;&lt;/P&gt;&lt;P&gt;default_timeout = 180&lt;/P&gt;&lt;P&gt;logdir_unique = false&lt;/P&gt;&lt;P&gt;rotate = 8&lt;/P&gt;&lt;P&gt;logdir = &amp;lt;none&amp;gt;&lt;/P&gt;&lt;P&gt;size = 1024&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;[vmsyslog]&lt;/P&gt;&lt;P&gt;loghost = tcp://10.122.126.71:514, tcp://10.122.126.5:514&lt;/P&gt;&lt;P&gt;rotate = 8&lt;/P&gt;&lt;P&gt;size = 1024&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;Digging a bit deeper into the syslog error log revealed this:&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;(/var/log/.vmsyslogd.err)&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.861Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:37:03.866Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:40:03.895Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 1045 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:40:03.899Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:43:03.933Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 661 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:43:03.937Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:46:03.969Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 761 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:46:03.973Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:49:04.002Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 573 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:49:04.006Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:52:04.036Z vmsyslog.msgQueue&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; : ERROR ] 10.122.126.5:514 - lost 665 log messages&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-18T23:52:04.040Z vmsyslog.loggers.network : ERROR&amp;nbsp;&amp;nbsp; ] 10.122.126.5:514 - socket error : [Errno 32] Broken pipe&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;At this stage, I was starting to wonder if the other side was actually working fine. We use VMware Syslog Collector to capture these logs and although the service was running fine, we noticed this in the debug log:&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,345 - sc.twisted - Log observer &amp;lt;bound method DefaultObserver._emit of &amp;lt;twisted.python.log.DefaultObserver instance at 0x01095F80&amp;gt;&amp;gt; failed.&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;Traceback (most recent call last):&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\context.pyo", line 59, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 37, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\internet\selectreactor.pyo", line 154, in _doReadOrWrite&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 221, in err&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;--- &amp;lt;exception caught here&amp;gt; ---&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\log.pyo", line 292, in msg&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 623, in _emit&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;OL style="list-style-type: lower-alpha;"&gt;&lt;LI&gt;&lt;EM&gt;exceptions.IOError: [Errno 9] Bad file descriptor&lt;/EM&gt;&lt;/LI&gt;&lt;/OL&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,348 - sc.core - TCP connection lost from 192.168.243.200:49420&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:27,348 - sc.log - Error cleaning up state: '192.168.243.200'&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:47,546 - sc.core - New TCP connection from IPv4Address(TCP, '192.168.243.1', 58438)&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;2014-11-19 06:26:47,549 - sc.twisted - Unhandled Error&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;Traceback (most recent call last):&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\python\log.pyo", line 84, in callWithLogger&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\log.pyo", line 69, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 59, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\python\context.pyo", line 37, in callWithContext&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;--- &amp;lt;exception caught here&amp;gt; ---&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; File "twisted\internet\selectreactor.pyo", line 146, in _doReadOrWrite&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt; &lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&amp;nbsp; File "twisted\internet\tcp.pyo", line 455, in doRead&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;&lt;EM&gt;&lt;BR /&gt;&lt;/EM&gt;&lt;/P&gt;&lt;P&gt;After some digging around so see how this service actually works (it basically is a Python script), I've noticed the Twisted framework being used is actually quite old (v8.2). I've then replaced SyslogCollectorLibrary.zip (the whole Python 2.6 environment compressed) with a version in which I've included the latest version on Twisted for Python 2.6 (v12.0). I stopped the service, replaced the zip file and restarted the service and almost immediately the flow of events stopped.&lt;/P&gt;&lt;P&gt;&lt;/P&gt;&lt;P&gt;I've attached this modified zip file so other people can see if it helps if they encounter this issue.&lt;/P&gt;&lt;/BODY&gt;&lt;/HTML&gt;</description>
      <pubDate>Thu, 04 Dec 2014 11:21:07 GMT</pubDate>
      <guid>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/ta-p/2778136</guid>
      <dc:creator>dieterbocklandt</dc:creator>
      <dc:date>2014-12-04T11:21:07Z</dc:date>
    </item>
    <item>
      <title>Re: vmsyslog filling up vCenter database</title>
      <link>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778137#M21</link>
      <description>&lt;HTML&gt;&lt;HEAD&gt;&lt;/HEAD&gt;&lt;BODY&gt;&lt;P&gt;happening same here&lt;/P&gt;&lt;/BODY&gt;&lt;/HTML&gt;</description>
      <pubDate>Wed, 05 Aug 2015 02:48:02 GMT</pubDate>
      <guid>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778137#M21</guid>
      <dc:creator>NavalgundRaj</dc:creator>
      <dc:date>2015-08-05T02:48:02Z</dc:date>
    </item>
    <item>
      <title>Re: vmsyslog filling up vCenter database</title>
      <link>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778138#M22</link>
      <description>&lt;HTML&gt;&lt;HEAD&gt;&lt;/HEAD&gt;&lt;BODY&gt;&lt;P&gt;Thank you for this resolution:&lt;/P&gt;&lt;/BODY&gt;&lt;/HTML&gt;</description>
      <pubDate>Wed, 05 Aug 2015 04:25:24 GMT</pubDate>
      <guid>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778138#M22</guid>
      <dc:creator>NavalgundRaj</dc:creator>
      <dc:date>2015-08-05T04:25:24Z</dc:date>
    </item>
    <item>
      <title>Re: vmsyslog filling up vCenter database</title>
      <link>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778139#M23</link>
      <description>&lt;HTML&gt;&lt;HEAD&gt;&lt;/HEAD&gt;&lt;BODY&gt;&lt;P&gt;Hi guys, where did you updated the python lib.... on the esxi or at the collector?&lt;/P&gt;&lt;/BODY&gt;&lt;/HTML&gt;</description>
      <pubDate>Fri, 07 Aug 2015 20:24:17 GMT</pubDate>
      <guid>https://communities.vmware.com/t5/VMware-vCenter-Documents/vmsyslog-filling-up-vCenter-database/tac-p/2778139#M23</guid>
      <dc:creator>saqarik</dc:creator>
      <dc:date>2015-08-07T20:24:17Z</dc:date>
    </item>
  </channel>
</rss>

