ESXi Mor Ekran (PSOD) Analizi: Çekirdek Dökümü (Dump) İnceleme ve Donanım Bellek Arızası Tespiti

Bir sistem yöneticisinin ekranında görebileceği en korkutucu manzara, ESXi sunucusunun mor ekrana (Purple Screen of Death - PSOD) düşmesidir. Host üzerindeki onlarca sanal makine aniden çöker ve konsolda beyaz harflerle dolu gizemli bir çekirdek dökümü belirir. Bu yazıda panik yapmak yerine PSOD ekranını bir adli tıp uzmanı gibi okuyarak arızalı donanımı nasıl tespit ettiğimi paylaşıyorum.

1. PSOD Ekranının Anatomisi

Bir PSOD ekranı rastgele yazılardan ibaret değildir; 3 ana bölümden oluşur:

Panic Nedeni (Üst Satır): Çökmenin ana sebebidir. Örneğin: PANNIC: Machine Check Exception (MCE), Heartbeat not received veya Failed to allocate memory.
Backtrace / Call Stack (Orta Bölüm): Çökme anında çekirdeğin (VMkernel) hangi fonksiyonları ve sürücüleri çalıştırdığını gösterir.
Sistem ve CPU Bilgileri (Alt Bölüm): Hangi çekirdeğin çöktüğü (PCPU 6) ve ESXi derleme numarası (Build 20513097).

VMware ESXi 7.0.3 [Releasebuild-20513097, x86_64]
Machine Check Exception: BANK 7 STATUS 0xfe00000000800400 ADDR 0x0000000845a2b100
MCi_STATUS: [Error: Corrected Memory Error / Parity Error]
PCPU 12: 2097451/world
Code start: 0x41801c800000 VMK uptime: 142:04:12:35.120
0x451a0291bd88:[0x41801c8bb4a2]PanicvPanicSelf@vmkernel#nover+0x11e
0x451a0291bde8:[0x41801c8c1e40]MCE_Handler@vmkernel#nover+0x54

2. MCE (Machine Check Exception) Analizi ile Donanım Arızasını Yakalama

Yukarıdaki logda en kritik satır: Machine Check Exception: BANK 7 STATUS ... satırıdır. MCE, işletim sistemi hatası değil; fiziksel işlemcinin (CPU) donanımda bir fiziksel arıza tespit edip sistemi durdurmasıdır.

Bank Numarası: Hangi donanım biriminin arıza verdiğini gösterir (İşlemci önbelleği, QPI veriyolu veya Bellek Denetleyicisi).
Dell iDRAC veya HPE iLO Entegrasyonu: PSOD görüldüğü anda sunucunun yönetim kartına (iDRAC/iLO) girilir. System Event Log (SEL) incelendiğinde Multi-bit ECC error on DIMM B3 uyarısı görülür.

3. Crash Dump (Çekirdek Dökümü) Dosyasını Alma

Sunucu yeniden başladığında ESXi kaza dökümünü /var/core dizinine yazar. Bu dosya VMware destek ekibine (GSS) veya analiz araçlarına iletilebilir:

# SSH üzerinden crash dump dosyasını kontrol etme
esxcli system coredump file get
# Dump dosyasını okunabilir metin formatına çıkarma
esxcli system coredump file extract

Karşılaşılan Kritik Hatalar ve Çözüm İpuçları

Ağ/Depolama Kartı Sürücü Çökmesi (LBT / NetQueue): Eğer call stack içinde elxnet_ (Emulex) veya bnxt_ (Broadcom) gibi ağ sürücüsü isimleri görüyorsanız, sorun donanımdan ziyade sürücü/firmware uyumsuzluğudur. VMware HCL sitesine giderek o donanım için önerilen Async Driver ve Firmware ikilisi yüklenmelidir.
Geçici Bellek Arızası (Single-bit ECC): Modern sunucularda tek bitlik hatalar düzeltilir (Corrected ECC); ancak bu hataların sıklığı artıyorsa o RAM modülü ölmek üzeredir. PSOD vermesini beklemeden iDRAC üzerinden DIMM yuvası (örneğin DIMM A1) tespit edilip host maintenance mode'a alınmalı ve parça değiştirilmelidir.

Mühendis Notu

Bir sunucu PSOD verdiğinde asla hemen güç düğmesine basıp yeniden başlatmayın! Önce telefonunuzla veya iDRAC konsolundan PSOD ekranının net bir fotoğrafını çekin. Ekrandaki hex kodları ve Call Stack bilgisi olmadan arızanın nedenini asla kesin olarak bilemezsiniz.