Canlıdaki (Production) Bir Sorunu Soğukkanlılıkla Çözme Disiplini

Her yazılımcının kariyerinde mutlaka yaşadığı o an vardır: canlıdaki bir sistemde kritik bir akış durur, bildirimler düşmeye başlar ve gözler teknik ekibe çevrilir. Böyle anlarda teknik bilgi kadar, soğukkanlılık ve sistematik hareket etme disiplini devreye girer. Canlıdaki projelerin bakımını ve geliştirilmesini yürütürken uyguladığım kriz yönetimi adımlarını bu yazıda derledim.

1. Rastgele Değişiklik Yapmadan Önce Etkilenen Kapsamı Anlamak

Panik anında yapılan en büyük hata, kök nedeni anlamadan canlı ortama üst üste "belki bu çözer" düşüncesiyle yama atmaktır. Bu yaklaşım genellikle sorunu büyütür. İlk adım her zaman şu üç soruyu netleştirmektir:

• Sorun tüm kullanıcıları mı etkiliyor, yoksa belirli bir senaryoyu/tarayıcıyı/veri tipini mi?
• Sorun tam olarak ne zaman başladı ve hemen öncesinde bir dağıtım (deployment) veya yapılandırma değişikliği yapıldı mı?
• Son çalışan kararlı sürüme hızlıca geri dönmek (rollback) mümkün mü?

2. Önce Kanamayı Durdur, Sonra Kök Nedeni İyileştir

Eğer sorun son yapılan bir yayından kaynaklanıyorsa ve çözümü birkaç dakikadan uzun sürecekse, en doğru mühendislik kararı değişikliği geri alıp (rollback) sistemi kararlı haline döndürmektir. Hizmet tekrar ayağa kalktıktan sonra, yerel ortamda logları ve veriyi inceleyerek gerçek kök nedeni stressiz şekilde çözmek çok daha sağlıklıdır.

3. Şeffaf İletişim ve Post-Mortem Alışkanlığı

Sorun çözülürken paydaşlara veya müşteriye "Sorunu tespit ettik, şu adımı uyguluyoruz, 15 dakika içinde bilgi vereceğiz" şeklinde kısa ve net bilgi vermek, belirsizliği ortadan kaldırır. Sorun tamamen çözüldükten sonra ise "Bu hatanın tekrar yaşanmaması için hangi testi veya kontrolü eklemeliyiz?" sorusunu sorarak sistemi eskisinden daha dayanıklı hale getirmek gerekir.

Sonuç

Canlı ortam sorunları stresli olsa da bir mühendisin sistemin çalışma mekanizmasını en derinlemesine öğrendiği anlardır. Soğukkanlı, veriye dayalı ve adım adım ilerleyen bir yaklaşım, en karmaşık krizleri bile güvene dönüştürür.