mstyslav
Enthusiast
Enthusiast

ротация логов postgresql (и не только) vCSA 6.7

Jump to solution

всем привет,

получил варнинг, о том, что раздел с логами заполнен на 90% (примерно за 15 дней), сервер vCSA новый, еще с этим не сталкивался, но вроде когда-то читал об этой проблеме

понимаю, надо настроить более жесткую ротацию логов PostgreSQL и наверное остального

кое-что накопал (в основном из старого, еще по 5.5/6.0 версиям), однако хотел бы услышать совет уже по 6.5/6.7 от знающих

хотелось бы сделать раз и забыть об этом вопросе

спасибо!

1 Solution

Accepted Solutions
Finikiez
Champion
Champion

У меня нет 6.7 под рукой, но думаю, что все делается по аналогии как в 6.5 путем увеличения размера диска с последующим запуском скрипта расширения.

Какой диск расширять и как выполнять скрипт описано в статье VMware Knowledge Base

Единственный поддерживаемый VMware метод удаления статистики из БД - VMware Knowledge Base

Но это может занять время.

View solution in original post

13 Replies
Finikiez
Champion
Champion

Добрый день!

Я пока не сталкивался с заполняющимися партициями на 6.7

Покажите вывод df -h

Если это действительно заполнился /storage/log, то посмотрите, что именно съело место. Команда du -h

Находите директорию самую большую, дальше смотрите в ней.

Может быть  у вас процесс какой-нибудь крэшится постоянно и пишет дампы, что приводит к заполнению.

Тогда надо смотреть что за процесс и почему он падает.

0 Kudos
mstyslav
Enthusiast
Enthusiast

почему я заикнулся про PostgreSQL - мне уведомление пришло в вЦентр - "Log Disk Exhaustion on vCenterServer"

далее пошел глядеть что и как и действительно раздел заполнен:

---

/dev/mapper/log_vg-log                    9.8G  8.2G  1.0G  90% /storage/log

---

du -h /storage/log/

4.0K    /storage/log/remote

16K     /storage/log/lost+found

936K    /storage/log/vmware/cis-license/history

292K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/5.0/5.5.2.0

296K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/5.0

164K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/6.0/6.5.1.1

164K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/6.0/6.5.0.4

164K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/6.0/6.7.0.0

496K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server/6.0

796K    /storage/log/vmware/cis-license/dlfs/VMware ESX Server

32K     /storage/log/vmware/cis-license/dlfs/VMware VirtualCenter Server/6.0/6.5.1.0

32K     /storage/log/vmware/cis-license/dlfs/VMware VirtualCenter Server/6.0/6.7.0.0

68K     /storage/log/vmware/cis-license/dlfs/VMware VirtualCenter Server/6.0

72K     /storage/log/vmware/cis-license/dlfs/VMware VirtualCenter Server

112K    /storage/log/vmware/cis-license/dlfs/NSX for vSphere/6.0/6.3.2.0

116K    /storage/log/vmware/cis-license/dlfs/NSX for vSphere/6.0

120K    /storage/log/vmware/cis-license/dlfs/NSX for vSphere

96K     /storage/log/vmware/cis-license/dlfs/VMware VSAN/5.0/6.6.0.0

96K     /storage/log/vmware/cis-license/dlfs/VMware VSAN/5.0/6.5.0.1

196K    /storage/log/vmware/cis-license/dlfs/VMware VSAN/5.0

200K    /storage/log/vmware/cis-license/dlfs/VMware VSAN

1.2M    /storage/log/vmware/cis-license/dlfs

24M     /storage/log/vmware/cis-license

4.0K    /storage/log/vmware/vcha

108K    /storage/log/vmware/cm/firstboot

4.0K    /storage/log/vmware/cm/work/Tomcat/localhost/ROOT

8.0K    /storage/log/vmware/cm/work/Tomcat/localhost

12K     /storage/log/vmware/cm/work/Tomcat

16K     /storage/log/vmware/cm/work

1.2M    /storage/log/vmware/cm

4.0K    /storage/log/vmware/vmcam

4.0K    /storage/log/vmware/netdumper

36K     /storage/log/vmware/pod

51M     /storage/log/vmware/vsan-health

42M     /storage/log/vmware/rhttpproxy

8.0K    /storage/log/vmware/vmcamd

21M     /storage/log/vmware/vpxd/drmdump/domain-c7

21M     /storage/log/vmware/vpxd/drmdump

4.0K    /storage/log/vmware/vpxd/uptime/error

8.0K    /storage/log/vmware/vpxd/uptime

316M    /storage/log/vmware/vpxd

8.0K    /storage/log/vmware/vmdnsd

11M     /storage/log/vmware/vsphere-client/logs/access

27M     /storage/log/vmware/vsphere-client/logs

27M     /storage/log/vmware/vsphere-client

12K     /storage/log/vmware/vmdir

108K    /storage/log/vmware/vsan-dps

8.7M    /storage/log/vmware/applmgmt

964K    /storage/log/vmware/perfcharts

1.4M    /storage/log/vmware/rbd

24K     /storage/log/vmware/vmon/vapi

19M     /storage/log/vmware/vmon

8.0K    /storage/log/vmware/rsyslogd-2068

8.0K    /storage/log/vmware/rsyslogd

8.0K    /storage/log/vmware/vmware-imagebuilder

11M     /storage/log/vmware/vpxd-svcs

18M     /storage/log/vmware/vapi/endpoint

18M     /storage/log/vmware/vapi

36K     /storage/log/vmware/analytics/prod

4.7M    /storage/log/vmware/analytics

4.0K    /storage/log/vmware/vmafd

12K     /storage/log/vmware/sso/utils

718M    /storage/log/vmware/sso

4.0K    /storage/log/vmware/mbcs

2.6M    /storage/log/vmware/eam/web

9.4M    /storage/log/vmware/eam

148M    /storage/log/vmware/vmware-sps

37M     /storage/log/vmware/content-library

248M    /storage/log/vmware/upgrade

8.0K    /storage/log/vmware/syslog

8.0K    /storage/log/vmware/rsyslogd-2078

32K     /storage/log/vmware/deploy

780K    /storage/log/vmware/applmgmt-audit

248K    /storage/log/vmware/vmafdd

4.0K    /storage/log/vmware/sca/work/Tomcat/localhost/ROOT

8.0K    /storage/log/vmware/sca/work/Tomcat/localhost

12K     /storage/log/vmware/sca/work/Tomcat

16K     /storage/log/vmware/sca/work

13M     /storage/log/vmware/sca

4.0K    /storage/log/vmware/vsm/web

216K    /storage/log/vmware/vsm

3.5M    /storage/log/vmware/vmcad

108K    /storage/log/vmware/vmware-updatemgr/vum-server/hostUpgrade

67M     /storage/log/vmware/vmware-updatemgr/vum-server

67M     /storage/log/vmware/vmware-updatemgr

3.1M    /storage/log/vmware/cloudvm

1.4M    /storage/log/vmware/vsphere-ui/logs/access

15M     /storage/log/vmware/vsphere-ui/logs

16M     /storage/log/vmware/vsphere-ui

5.9G    /storage/log/vmware/vpostgres

8.0K    /storage/log/vmware/rsyslogd3

8.0K    /storage/log/vmware/rsyslogd-2076

233M    /storage/log/vmware/vmdird

8.2G    /storage/log/vmware

8.2G    /storage/log/

-----

ls -la /storage/log/vmware/vpostgres

-rw-------  1 vpostgres users 408850907 Sep  2 02:59 postgresql-01.log

-rw-------  1 vpostgres users 403162867 Sep  3 02:59 postgresql-02.log

-rw-------  1 vpostgres users 394711887 Sep  4 02:59 postgresql-03.log

-rw-------  1 vpostgres users 389582981 Sep  5 02:59 postgresql-04.log

-rw-------  1 vpostgres users 395179503 Sep  6 02:59 postgresql-05.log

-rw-------  1 vpostgres users 357607937 Sep  7 02:59 postgresql-06.log

-rw-------  1 vpostgres users 335786620 Sep  8 02:59 postgresql-07.log

-rw-------  1 vpostgres users 335693137 Sep  9 02:59 postgresql-08.log

-rw-------  1 vpostgres users 335274289 Sep 10 02:59 postgresql-09.log

-rw-------  1 vpostgres users 336272780 Sep 11 02:59 postgresql-10.log

-rw-------  1 vpostgres users 332717212 Sep 12 02:59 postgresql-11.log

-rw-------  1 vpostgres users 350826782 Sep 13 02:59 postgresql-12.log

-rw-------  1 vpostgres users 371918729 Sep 14 02:59 postgresql-13.log

-rw-------  1 vpostgres users 374047419 Sep 15 02:59 postgresql-14.log

-rw-------  1 vpostgres users 373911170 Sep 16 02:59 postgresql-15.log

-rw-------  1 vpostgres users 373710891 Sep 17 02:59 postgresql-16.log

-rw-------  1 vpostgres users 162602916 Sep 17 13:26 postgresql-17.log

-rw-------  1 vpostgres users 283609984 Sep  1 02:59 postgresql-31.log

-----

остальное - мелочи

0 Kudos
Finikiez
Champion
Champion

Ага.

А этот VCSA с нуля поставлен или обновлен с предыдущей версии, например, 6.5?

0 Kudos
mstyslav
Enthusiast
Enthusiast

не, не с нуля и не обновлен

сконвертировано с windows VCS 6.5 на VCSA 6.7

0 Kudos
Finikiez
Champion
Champion

Логи postgres автоматически должны ротироваться каждый день и писаться в свой файлик в зависимости от числа 1, 2, 3.. и т.д.

Другое дело, что может быть размер виртуальной инфраструктуры не соответствует сконфигурированному размеру дисков для VCSA. Сколько у вас хостов и виртуальных машин?

Storage Requirements for the vCenter Server Appliance and Platform Services Controller Appliance

Так что явно вы не столкнулись с каким-либо багом в ротировании.

Почитайте лог vpostgres, может там есть явные ошибки в работе, которые нужно исправить.

0 Kudos
mstyslav
Enthusiast
Enthusiast

оно так и есть, ротация происходит и файлики за каждый день есть, они примерно по 300Мб

у меня сейчас 5 хостов и примерно 60 виртуалок, при конфигурировании, я взял с запасом - Small environment (up to 100 hosts or 1,000 virtual machines)

спасибо за идею почитать логи postgresql, если будут вопросы - закину сюда!

PS. заметил, что конкретно эти логи (postgresql) не жмутся, по-идее если их зиповать, будут сильно меньше

0 Kudos
mstyslav
Enthusiast
Enthusiast

весь лог postgresql по-сути состоит из практически однотипных строк:

------

2018-09-17 13:26:42.443 UTC 5b9fa717.8172 0 VCDB vc LOG:  duration: 1094.249 ms  statement: BEGIN;declare "SQL_CUR0x7ff5001fe470" cursor with hold for  SELECT sc.stat_id, d.device_name, sm.sample_time, sm.sample_interval, st.stat_val FROM vpx_stat_counter sc, vpx_sample_time1 sm, vpx_device d, vpx_hist_stat1 st WHERE sc.entity_id = 508   AND sc.stat_id = 281   AND d.device_name = ''   AND sc.counter_id = st.counter_id   AND coalesce(sc.device_id,1) = coalesce(d.device_id,1)   AND st.time_id = sm.time_id   AND sm.sample_time > '2018-08-31 07:50:00'::timestamp   AND sm.sample_time <= '2018-09-17 13:25:00'::timestamp ORDER BY sm.sample_time ;fetch 1024 in "SQL_CUR0x7ff5001fe470"

-------

потом встречается такое:

-------

2018-09-17 13:29:13.464 UTC 5b9fabc7.9e65 0 VCDB vc LOG:  duration: 1078.916 ms  statement: ROLLBACK

2018-09-17 13:29:13.467 UTC 5b9fabc8.9ec8 0 VCDB vc LOG:  duration: 1070.170 ms  statement: ROLLBACK

2018-09-17 13:29:13.467 UTC 5b9faad4.98f2 0 VCDB vc LOG:  duration: 1042.696 ms  statement: ROLLBACK

2018-09-17 13:29:13.468 UTC 5b9fac0e.a03f 0 VCDB vc LOG:  duration: 1040.088 ms  statement: ROLLBACK

2018-09-17 13:29:13.469 UTC 5b9faac4.98ac 0 VCDB vc LOG:  duration: 1036.627 ms  statement: ROLLBACK

--------

далее:

--------

2018-09-17 13:30:07.280 UTC 5b88eeac.403b 0   LOG:  checkpoint starting: time

2018-09-17 13:30:17.425 UTC 5b88eeac.4040 0   LOG:  Updating instance status...

2018-09-17 13:30:17.425 UTC 5b88eeac.4040 0   LOG:  Checking bloat of WAL caused by replication slots

2018-09-17 13:30:17.427 UTC 5b88eeac.4040 0   LOG:  Memory check: flag = rss, mem_used_bytes = 564836 kB, mem_avail = 1294336 kB

2018-09-17 13:30:17.427 UTC 5b88eeac.4040 0   LOG:  Writing instance status...

2018-09-17 13:30:17.427 UTC 5b88eeac.4040 0   LOG:  Wrote instance status successfully.

2018-09-17 13:30:17.427 UTC 5b88eeac.4040 0   LOG:  Updated instance status successfully.

---------

и вот этим хозяйством за сутки набивается 300Мб

судя по всему, так не должно быть, предполагаю, что присутствует аномалия

0 Kudos
Finikiez
Champion
Champion

А у вас до этого на windows тоже postges был или MSSQL?

Там такая же история с логами postgres была, что они занимают по 300 Мб?

0 Kudos
mstyslav
Enthusiast
Enthusiast

ха, я уж и не помню, что там было... наверное таки postgresql, он же вроде нативно предлагается как СУБД. и проблем с логами точно не было

я удалил старые логи (для освобождения места), вот сегодня уже лог за 100Мб:

----

-rw------- 1 vpostgres users 321M Sep 11 02:59 postgresql-10.log

-rw------- 1 vpostgres users 318M Sep 12 02:59 postgresql-11.log

-rw------- 1 vpostgres users 335M Sep 13 02:59 postgresql-12.log

-rw------- 1 vpostgres users 355M Sep 14 02:59 postgresql-13.log

-rw------- 1 vpostgres users 357M Sep 15 02:59 postgresql-14.log

-rw------- 1 vpostgres users 357M Sep 16 02:59 postgresql-15.log

-rw------- 1 vpostgres users 357M Sep 17 02:59 postgresql-16.log

-rw------- 1 vpostgres users 357M Sep 18 02:59 postgresql-17.log

-rw------- 1 vpostgres users 189M Sep 18 15:41 postgresql-18.log

----

думаю сделать ротацию не месячную, а недельную. так хотя бы место будет все время в наличии. но проблема-то не решается...

0 Kudos
Finikiez
Champion
Champion

Можно просто увеличить размер диска на VCSA для логов Smiley Happy

Либо пытаться понять причину, что же пытается выполнить.

Или например почистить БД от старых данных статистики производительности\эвентов\тасков

mstyslav
Enthusiast
Enthusiast

размер диска - 100% вариант, я единственное такого не делал, боюсь налажать

а вот про очистку от старого - где/как?

спасибо!

0 Kudos
Finikiez
Champion
Champion

У меня нет 6.7 под рукой, но думаю, что все делается по аналогии как в 6.5 путем увеличения размера диска с последующим запуском скрипта расширения.

Какой диск расширять и как выполнять скрипт описано в статье VMware Knowledge Base

Единственный поддерживаемый VMware метод удаления статистики из БД - VMware Knowledge Base

Но это может занять время.

View solution in original post

mstyslav
Enthusiast
Enthusiast

спасибо за помощь!

расширил раздел как написано в мануале, для 6.7 все действительно так же как для 6.5

считаю свой вопрос так или иначе решенным

0 Kudos