CRS-2412 Hatası ve Çözümü

Bugün sizlere Oracle'da karşılaştığımız "CRS-2412: The Cluster Time Synchronization Service detects that the local time is significantly different from the mean cluster time." hatası ve çözümü için uyguladığımız adımları paylaşacağım.

İki node'lu RAC sistemimizde "/u01" dizininin CRS logları yüzünden aşırı büyüdüğünü fark ettik. Alert dosyasını incelediğimiz zaman yarım saat aralıklarla tekrar eden aşağıdaki hata loglarının üretildiğini gördük.

2022-03-03 09:16:14.751 [OCTSSD(65459)]CRS-2412: The Cluster Time Synchronization Service detects that the local time is significantly different from the mean cluster time. Details in /u01/app/product/diag/crs/node1/crs/trace/octssd.trc.

2022-03-03 09:46:15.232 [OCTSSD(65459)]CRS-2412: The Cluster Time Synchronization Service detects that the local time is significantly different from the mean cluster time. Details in /u01/app/product/diag/crs/node1/crs/trace/octssd.trc.

2022-03-03 10:16:15.697 [OCTSSD(65459)]CRS-2412: The Cluster Time Synchronization Service detects that the local time is significantly different from the mean cluster time. Details in /u01/app/product/diag/crs/node1/crs/trace/octssd.trc.

2022-03-03 10:46:16.181 [OCTSSD(65459)]CRS-2412: The Cluster Time Synchronization Service detects that the local time is significantly different from the mean cluster time. Details in /u01/app/product/diag/crs/node1/crs/trace/octssd.trc.

Sunucular arasında zaman farkı olup olmadığı kontrol edildiğinde zaman farkı görülmedi. Eğer gerçekten sunucular arasında zaman farkı oluşmuş ise öncelikle bu problemin çözülmesine odaklanılmalıdır.

[oracle@node1 ~]$ date; ssh node2 date;
Thu Mar 3 17:02:39 +03 2022
Thu Mar 3 17:02:39 +03 2022

Hata üzerinde araştırma yaptıktan sonra, sunucular arasında zaman farkı olmamasına rağmen bu hata logunun üretilmesinin bir bug olduğunu keşfettik. (Doc ID 2614333.1)

1- Dökümanda belirtilen workaround adımlarını uygulamak için öncelikle güncel log seviyeleri tüm node'lardan tespit edilir.

[root@node1 ~]$ crsctl get log ctss CTSS
Get CTSSD  Module: CTSS    Log Level: 3

[root@node2 ~]$ crsctl get log ctss CTSS
Get CTSSD  Module: CTSS    Log Level: 3

2- Log seviyesi sırasıyla tüm node'lardan 4'e set edilir.

[root@node1 ~]$ crsctl set log ctss CTSS=4
Set CTSSD  Module: CTSS    Log Level: 4

[root@node2 ~]$ crsctl set log ctss CTSS=4
Set CTSSD  Module: CTSS    Log Level: 4

3- CTSS Daemon tüm node'larda durdurulur.

[root@node1 ~]$ crsctl stop res ora.ctssd -init
CRS-2673: Attempting to stop 'ora.ctssd' on 'node1'
CRS-2677: Stop of 'ora.ctss' on 'node1' succeeded

[root@node2 ~]$ crsctl stop res ora.ctssd -init
CRS-2673: Attempting to stop 'ora.ctssd' on 'node2'
CRS-2677: Stop of 'ora.ctss' on 'node2' succeeded

4- CTSS Daemon tüm node'larda başlatılır.

[root@node1 ~]$ crsctl start res ora.ctssd -init
CRS-2672: Attempting to start 'ora.ctssd' on 'node1'
CRS-2676: Start of 'ora.ctss' on 'node1' succeeded

[root@node2 ~]$ crsctl start res ora.ctssd -init
CRS-2672: Attempting to start 'ora.ctssd' on 'node2'
CRS-2676: Start of 'ora.ctss' on 'node2' succeeded

5- Log Level tekrar 1. adımda bulunan seviyeye set edilir.

[root@node1 ~]$ crsctl set log ctss CTSS=3
Set CTSSD  Module: CTSS    Log Level: 3

[root@node2 ~]$ crsctl set log ctss CTSS=3
Set CTSSD  Module: CTSS    Log Level: 3

Belirtilen adımları uyguladıktan sonra CRS loglarını incelediğimizde aynı hataya tekrar rastlanmadı. Alert dosyalarında bu gibi tekrar eden hatalar dosyanın kontrolsüz büyümesine yol açtığı gibi önemli logların gözden kaçırılmasına da sebep olabilir. Bu nedenle hassasiyet gösterilmesi gerekir.

Gelecek yazılarımızda görüşmek üzere, sağlıcakla kalın...