Implementasi alur kerja pengujian yang kredibel memiliki janji yang sempit: menghubungkan risiko produk dengan pemeriksaan komponen yang cepat, cakupan integrasi, perjalanan penting, dan kepemilikan kegagalan. Perlakukan jumlah pengujian yang besar memberikan nilai yang kecil ketika kegagalan tidak stabil atau tidak terkait dengan pelepasan risiko sebagai masukan desain, bukan kasus khusus untuk didokumentasikan nanti.
Ubah "selesai" menjadi perilaku yang dapat diamati: Alur Kerja Pengujian
Kriteria penerimaan untuk alur kerja pengujian harus mengidentifikasi aktor, memulai status, tindakan, hasil tahan lama, jalur yang ditolak, tindakan berulang, dan bukti pemulihan. Antarmuka mungkin melaporkan keberhasilan sementara jumlah pengujian yang besar memberikan sedikit nilai ketika kegagalan tidak stabil atau tidak terkait dengan risiko rilis. Oleh karena itu, kriterianya harus membandingkan umpan balik yang terlihat dengan kebijakan yang diterapkan di server dan transisi status yang dapat diaudit.
Mencakup status yang mengubah keputusan: Alur Kerja Pengujian
Tes siap, kosong, tidak valid, ditolak, tertunda, duplikat, sebagian, berhasil, dan dipulihkan status jika diterapkan. Tambahkan kasus di mana akses dicabut, pemilik tidak ada, atau permintaan berulang muncul setelah penyelesaian sebagian. Setiap kasus harus menyatakan apakah masukan dipertahankan, apakah coba ulang aman, dan catatan mana yang diperiksa oleh peninjau. Hindari kriteria seperti "berhasil" atau "dilaksanakan" karena dua pengulas dapat menafsirkannya secara berbeda.
Otoritas pengujian, bukan visibilitas: Alur Kerja Pengujian
Perilaku yang diharapkan harus berlaku untuk aktor yang diizinkan, aktor yang ditolak, peran yang dicabut, dan permintaan langsung yang melewati antarmuka normal. Penyangkalan harus membuat status yang dilindungi tidak berubah dan menghasilkan catatan audit yang berguna tanpa mengungkap rahasia. Aktor yang bertanggung jawab hanya boleh memiliki izin yang diperlukan untuk pengujian alur kerja.
Lampirkan bukti pada setiap klaim penting: Alur Kerja Pengujian
Gunakan pengujian yang diizinkan dan ditolak, catatan audit, tanggal kepemilikan, catatan pemulihan, dan log yang disunting. Catat lingkungan, konfigurasi, dan rentang waktu sehingga pengulas lain dapat mereproduksi hasilnya. Tes kelulusan hanya mendukung perilaku yang dilakukannya; itu tidak membuktikan setiap klaim keamanan, aksesibilitas, kinerja, atau operasional. Pantau insiden yang berulang sebagai sinyal pelepasan.
Peta keputusan: Alur Kerja Pengujian
- Pemeriksaan komponen. Beri nama pemilik, catatan resmi, status yang diharapkan, dan respons saat ditolak untuk bagian alur kerja pengujian ini.
- Cakupan integrasi. Dokumentasikan transisi normal, satu transisi terputus, dan pemulihan aman terkecil.
- Perjalanan penting. Lampirkan tes yang dapat direproduksi, tanggal hasil, dan peninjau yang menerima risiko yang tersisa.
- Kepemilikan gagal. status input, output, batas izin, dan kriteria penghentian sebelum menambahkan otomatisasi.
- Gerbang pelepasan. Catat perilaku tindakan berulang dan bukti mana yang membedakan coba ulang dari duplikasi.
kasus batas: Alur Kerja Pengujian
- Ketika nilai tercatat untuk pemeriksaan komponen berubah setelah cakupan integrasi disimpan, sebutkan nilai mana yang menang dan bagaimana status yang hilang direkonsiliasi.
- Jika bukti untuk perjalanan penting tidak tersedia saat permintaan alur kerja pengujian sedang berlangsung, pertahankan konteks yang cukup untuk membedakan penolakan dan penyelesaian sebagian.
- Tindakan berulang yang melibatkan kepemilikan kegagalan akan mengembalikan hasil yang ada atau mengekspos kemungkinan efek duplikat sebelum coba ulang.
- Perubahan yang ditolak pada gerbang rilis harus membiarkan status resmi tidak tersentuh dan membuat catatan audit yang tidak mengungkapkan rahasia apa pun.
- Pemulihan harus memulihkan status terkecil yang dapat dipercaya terlebih dahulu, lalu memverifikasi hasil alur kerja pengujian yang terlihat terhadap catatan yang disimpan.
Ukur keputusan, bukan aktivitas: Alur Kerja Pengujian
Lacak insiden berulang dan waktu perbaikan manual. Sebelum mengumpulkan hasil untuk alur kerja pengujian, tentukan populasi, lingkungan, rentang waktu, dan pemilik setiap pengukuran. Aktivitas hanya berguna jika aktivitas tersebut memperjelas apakah hasil alur kerja pengujian yang dilindungi menjadi lebih aman atau lebih mudah untuk dipulihkan.
Tetapkan ambang batas investigasi untuk alur kerja pengujian terlebih dahulu. Tinjauan penerimaan juga harus menyebutkan tanggapan yang diizinkan, bukti yang diperlukan untuk menyelesaikan masalah, dan tanggal peninjauan berikutnya. Hentikan pengumpulan data alur kerja pengujian ketika data tersebut tidak lagi membedakan keberhasilan, penolakan, penundaan, duplikasi, atau pemulihan, atau ketika data tersebut tidak lagi mengubah keputusan.
Sumber dan bukti lokal: Alur Kerja Pengujian
Referensi utama ini mendokumentasikan perilaku platform yang relevan dengan alur kerja pengujian. Untuk pengujian alur kerja, referensi tersebut menetapkan terminologi dan batasan; mereka tidak memverifikasi implementasi lokal.
Setiap klaim alur kerja pengujian yang dapat dipublikasikan masih memerlukan bukti lokal bertanggal: konfigurasi, hasil pengujian, tangkapan layar, log, kueri, atau hasil pemulihan dari produk yang disebutkan. Tinjauan penerimaan harus menyatakan dengan tepat artefak mana yang mendukung setiap klaim penting.
Contoh InMyDraft terkait: Alur Kerja Pengujian
InMyCitizen memberikan contoh lokal batas produk yang dapat diperiksa dan relevan dengan alur kerja pengujian. Katalog proyeknya mencatat detail penerapan berikut: Garis waktu sipil, pesan langsung (warga negara, dukungan, komunitas, dan percakapan AI), dompet dokumen, laporan sipil dengan foto dan lokasi, tagihan, dan janji temu semuanya ditransfer ke akun penduduk yang sama.
Perbandingan antara alur kerja InMyCitizen dan pengujian sengaja dibuat sempit. Ini menunjukkan bagaimana satu produk membuat status dan bukti terlihat; hal ini tidak membuktikan bahwa setiap rekomendasi alur kerja pengujian telah diterapkan. Gunakan contoh InMyCitizen untuk meninjau alur kerja pengujian, bukan sebagai pengganti pengujian produk dalam cakupan.
Tinjau daftar periksa: Alur Kerja Pengujian
- Mengingat status awal yang valid, operator penanggung jawab dengan izin tersempit yang diperlukan dapat menyelesaikan hasil alur kerja pengujian yang diinginkan.
- Permintaan yang tidak valid dan tidak sah membuat kebijakan yang diterapkan di server dan transisi status yang dapat diaudit tidak berubah.
- Tindakan berulang tidak menduplikasi efek samping yang dilindungi.
- Tim dapat mendemonstrasikan bahwa mereka dapat menimbulkan cacat yang representatif dan memastikan pemeriksaan terdekat yang dapat menangkap cacat tersebut.
- Kegagalan dan pemulihan menghasilkan bukti yang dapat direproduksi oleh pengulas lain.
Keputusan alur kerja pengujian siap untuk tahap berikutnya ketika orang lain yang bertanggung jawab dapat mereproduksi bukti, menjelaskan batas kegagalan, dan melakukan pemulihan tanpa bergantung pada memori penulis asli.
