Pasukan berbincang tentang status sistem

Bayangkan situasi ini: pelayan produksi masih memulangkan ralat 502 Bad Gateway secara berselang-seli, jam sudah menunjukkan pukul 6:30 petang, dan anda sudah menghadap terminal serta graf pemantauan sejak tengah hari. Rakan syif malam atau pasukan di zon masa lain baru sahaja masuk bertugas untuk mengambil alih.

Pada saat penat dan lapar begini, kesilapan paling mahal yang selalu berlaku ialah menghantar mesej satu baris di Slack atau WhatsApp: “Server masih slow sikit, saya dah restart worker tadi tapi masih ada error. Tolong sambung pantau ya.”

Mesej seperti itu nampak ringkas, tetapi ia memaksa orang yang baru masuk menghabiskan 45 minit pertama meneka apa yang sedang rosak, menyemak semula log yang sama, dan lebih bahaya lagi—mencuba semula langkah restart yang sama sedangkan anda sudah tahu langkah itu hanya melegakan sistem selama tiga minit sebelum ia tumbang semula.

Lima maklumat wajib dalam nota handoff insiden

Nota serah tugas tidak perlu ditulis seperti karangan panjang. Cukup satu templat ringkas yang boleh dibaca dan difahami dalam masa dua minit:

### Handoff Insiden: [ID Tiket / Tajuk Ringkas]
- **Impak Semasa:** Halaman utama OK, tetapi endpoint `/api/invoices/upload` gagal (~18% permintaan memulangkan 502 sejak 15:40 MYT).
- **Pautan Pantas:** [Graf Grafana] | [Cloudflare Analytics] | [Saluran #inc-2026-1013]
- **Sudah Dicuba & Hasilnya:**
  - `systemctl restart php8.2-fpm` pada 16:10 & 16:45 -> CPU turun ke 35% selama 5 minit, kemudian naik semula ke 100%.
  - Semak `journalctl -u php8.2-fpm -n 100` -> nampak banyak amaran `max_children reached`.
- **Hipotesis & Perubahan Sementara Aktif:**
  - Kemungkinan ada lonjakan muat naik PDF besar atau *upstream timeout* ke storan objek.
  - Perubahan sementara: had *rate limit* WAF untuk `/api/invoices/*` dinaikkan log level ke *Log* (bukan *Block*) supaya trafik sah tidak disekat secara tidak sengaja. Perlu kembalikan kepada asal selepas punca ditemui.
- **Pemilik Keputusan / Eskalasi:** Jika beban DB naik melebihi 85% atau perlu aktifkan mod penyelenggaraan, hubungi @amirul (Lead Infra) untuk kelulusan failover.

Mengapa butiran “sudah dicuba dan gagal” itu sangat kritikal? Kerana dalam keadaan cemas, naluri pertama kebanyakan jurutera ialah mencuba pembaikan pantas seperti memulakan semula servis, mengosongkan cache, atau menaikkan bilangan worker. Jika mereka tahu anda sudah mencuba systemctl restart dua kali dan masalah kembali dalam lima minit, mereka boleh terus melangkah ke siasatan punca sebenar—contohnya menyemak slow query pangkalan data, kehabisan connection pool, atau skrip bot yang memukul satu endpoint khusus.

Jangan tinggalkan perubahan sementara tanpa nota rollback

Semasa memadam kebakaran di produksi, kita kerap membuat perubahan sementara untuk membeli masa: mematikan satu cron job penjanaan laporan, memintas cache tertentu, menaikkan nilai proxy_read_timeout di Nginx, atau menukar tetapan Cloudflare kepada mod ketat.

Bahayanya, jika perubahan sementara itu tidak dicatat dalam nota serah tugas, syif seterusnya mungkin menyangka itu adalah konfigurasi tetap—atau lebih teruk, mereka memulangkan tetapan lain yang bergantung kepadanya sehingga mencetuskan insiden baharu keesokan harinya. Sentiasa nyatakan apa yang diubah, di mana fail atau tetapan itu berada, dan syarat untuk mengembalikannya kepada keadaan asal.

Panggilan lima minit untuk insiden tahap kritikal

Untuk isu kecil yang sudah stabil dan hanya menunggu pemantauan, nota bertulis yang kemas sudah memadai. Tetapi bagi insiden Severity 1 atau Severity 2 yang masih menjejaskan pengguna aktif, jangan sekadar hantar teks lalu terus menutup komputer riba.

Luangkan lima minit untuk panggilan suara ringkas bersama penerima syif:

  1. Bentangkan status semasa dan apa yang paling membimbangkan anda dalam masa satu jam akan datang.
  2. Minta penerima meringkaskan semula dengan ayat mereka sendiri apa langkah pertama yang akan mereka ambil selepas panggilan tamat.
  3. Sahkan mereka mempunyai akses yang diperlukan—kadang-kadang orang syif baharu tiada akses SSH ke pelayan tertentu, tiada kebenaran papan pemuka Cloudflare, atau tidak tahu di mana kunci pemulihan disimpan.

Komunikasi serentak selama lima minit itu memastikan tanggungjawab benar-benar berpindah tangan dengan bersih. Pasukan operasi yang matang bukanlah sekumpulan individu yang berjaga seorang diri sehingga penat melampau, tetapi pasukan bergilir yang menjaga sistem supaya orang yang selesai syif boleh menutup komputer dengan tenang dan kembali segar esok hari.