Tim biasanya menemukan kesenjangan dalam observasi ketika pengecualian memperlihatkan keputusan yang tidak jelas. Titik awal yang lebih baik adalah dengan menginstrumentasikan hasil, ketergantungan, kesalahan, latensi, identitas rilis, dan peringatan yang dapat ditindaklanjuti yang terlihat oleh pengguna. Hal ini penting karena mengumpulkan telemetri dalam jumlah besar tanpa kepemilikan akan menimbulkan biaya dibandingkan diagnosis.
Ubah "selesai" menjadi perilaku yang dapat diamati: Observabilitas
Kriteria penerimaan untuk observabilitas harus mengidentifikasi aktor, status awal, tindakan, hasil tahan lama, jalur yang ditolak, tindakan berulang, dan bukti pemulihan. Antarmuka dapat melaporkan keberhasilan sementara mengumpulkan telemetri yang melimpah tanpa kepemilikan menimbulkan biaya daripada diagnosis. Oleh karena itu, kriterianya harus membandingkan umpan balik yang terlihat dengan artefak berversi dan status produksi persisten.
Mencakup status yang mengubah keputusan: Observabilitas
Tes siap, kosong, tidak valid, ditolak, tertunda, duplikat, sebagian, berhasil, dan dipulihkan status jika diterapkan. Tambahkan kasus di mana peluncuran berhenti setelah perubahan status tetapi sebelum verifikasi selesai. Setiap kasus harus menyatakan apakah masukan dipertahankan, apakah coba ulang aman, dan catatan mana yang diperiksa oleh peninjau. Hindari kriteria seperti "berhasil" atau "dilaksanakan" karena dua pengulas dapat menafsirkannya secara berbeda.
Otoritas pengujian, bukan visibilitas: Observabilitas
Perilaku yang diharapkan harus berlaku untuk aktor yang diizinkan, aktor yang ditolak, peran yang dicabut, dan permintaan langsung yang melewati antarmuka normal. Penolakan harus membiarkan status yang dilindungi tidak berubah dan menghasilkan catatan audit yang berguna tanpa mengungkap rahasia. Agar dapat diamati, aktor yang bertanggung jawab adalah penanggung jawab rilis.
Lampirkan bukti pada setiap klaim penting: Observabilitas
Gunakan identitas rilis, keluaran migrasi, pemeriksaan kesehatan, jejak, dan latihan pemulihan berwaktu. Catat lingkungan, konfigurasi, dan rentang waktu sehingga pengulas lain dapat mereproduksi hasilnya. Tes kelulusan hanya mendukung perilaku yang dilakukannya; itu tidak membuktikan setiap klaim keamanan, aksesibilitas, kinerja, atau operasional. Pantau waktu rollback sebagai sinyal pelepasan.
Peta keputusan: Observabilitas
- Hasil yang terlihat oleh pengguna. Sebutkan pemiliknya, catatan resmi, status yang diharapkan, dan respons saat ditolak untuk bagian observasi ini.
- Ketergantungan. Dokumentasikan transisi normal, satu transisi terputus, dan pemulihan aman terkecil.
- Kesalahan. Lampirkan tes yang dapat direproduksi, tanggal hasil, dan peninjau yang menerima risiko yang tersisa.
- Latensi. status input, output, batas izin, dan kriteria penghentian sebelum menambahkan otomatisasi.
- Lacak konteks. Catat perilaku tindakan berulang dan bukti mana yang membedakan coba ulang dari duplikasi.
kasus batas: Observabilitas
- Ketika nilai tercatat untuk hasil yang terlihat pengguna berubah setelah dependensi disimpan, sebutkan nilai mana yang menang dan bagaimana status yang kalah direkonsiliasi.
- Jika bukti kesalahan tidak tersedia saat permintaan observasi sedang berlangsung, pertahankan konteks yang cukup untuk membedakan penolakan dan penyelesaian sebagian.
- Tindakan berulang yang melibatkan latensi akan mengembalikan hasil yang ada atau mengekspos kemungkinan efek duplikat sebelum coba ulang.
- Perubahan yang ditolak untuk melacak konteks harus membiarkan status resmi tidak tersentuh dan membuat catatan audit yang tidak mengungkapkan rahasia apa pun.
- Pemulihan harus memulihkan status terkecil yang dapat dipercaya terlebih dahulu, lalu memverifikasi hasil observasi yang terlihat terhadap catatan yang disimpan.
Ukur keputusan, bukan aktivitas: Observabilitas
Lacak waktu rollback dan waktu pemulihan. Sebelum mengumpulkan hasil untuk observasi, tentukan populasi, lingkungan, rentang waktu, dan pemilik setiap pengukuran. Aktivitas hanya berguna jika aktivitas tersebut memperjelas apakah hasil observabilitas yang dilindungi menjadi lebih aman atau lebih mudah untuk dipulihkan.
Tetapkan ambang batas investigasi untuk kemampuan observasi terlebih dahulu. Tinjauan penerimaan juga harus menyebutkan tanggapan yang diizinkan, bukti yang diperlukan untuk menyelesaikan masalah, dan tanggal peninjauan berikutnya. Hentikan pengumpulan data observabilitas ketika data tersebut tidak lagi dapat membedakan keberhasilan, penolakan, penundaan, duplikasi, atau pemulihan, atau ketika data tersebut tidak lagi mengubah keputusan.
Sumber dan bukti lokal: Observabilitas
Referensi utama ini mendokumentasikan perilaku platform yang relevan dengan observabilitas. Agar dapat diamati, referensi tersebut menetapkan terminologi dan batasan; mereka tidak memverifikasi implementasi lokal.
Setiap klaim observabilitas yang dapat dipublikasikan masih memerlukan bukti lokal bertanggal: konfigurasi, hasil pengujian, tangkapan layar, log, kueri, atau hasil pemulihan dari produk bernama. Tinjauan penerimaan harus menyatakan dengan tepat artefak mana yang mendukung setiap klaim penting.
Contoh InMyDraft terkait: Observabilitas
InMyCompany memberikan contoh lokal batas produk yang dapat diperiksa dan relevan dengan kemampuan observasi. Katalog proyeknya mencatat rincian implementasi berikut: Perkiraan pajak dihitung dari tarif yang dapat dikonfigurasi oleh perusahaan, diberi label yang jelas sebagai perkiraan perencanaan dan bukan pengajuan resmi, dan ditampilkan di dasbor dan dalam laporan.
Perbandingan antara InMyCompany dan kemampuan observasi sengaja dibuat sempit. Ini menunjukkan bagaimana satu produk membuat status dan bukti terlihat; hal ini tidak membuktikan bahwa setiap rekomendasi observasi telah dilaksanakan. Gunakan contoh InMyCompany untuk meninjau observabilitas, bukan sebagai pengganti pengujian produk dalam cakupan.
Tinjau daftar periksa: Observabilitas
- Mengingat status awal yang valid, penanggung jawab rilis dapat menyelesaikan hasil observasi yang diinginkan.
- Permintaan yang tidak valid dan tidak sah membuat artefak berversi dan status produksi persisten tidak berubah.
- Tindakan berulang tidak menduplikasi efek samping yang dilindungi.
- Tim dapat menunjukkan bahwa mereka dapat menyelidiki kegagalan yang telah disiapkan menggunakan sinyal yang dipertahankan dan tanpa pengetahuan kueri pribadi.
- Kegagalan dan pemulihan menghasilkan bukti yang dapat direproduksi oleh pengulas lain.
Keputusan observasi siap untuk tahap berikutnya ketika orang lain yang bertanggung jawab dapat mereproduksi bukti, menjelaskan batas kegagalan, dan melakukan pemulihan tanpa bergantung pada ingatan penulis asli.
