Demo video tentang agen tes otomatis sering berhenti pada momen keberhasilan awal, ketika kerangka Figma berubah menjadi hasil pengujian yang lolos dalam waktu singkat. Namun, realitas produksi menuntut perhatian pada aspek-aspek yang tidak ditampilkan, seperti kepemilikan tiket yang dibuka pada dini hari atau pelacakan panggilan model yang menghasilkan pernyataan tertentu dalam kasus pengujian.
Pengalaman selama dua dekade dalam otomasi pengujian pada platform berskala besar menunjukkan bahwa keberhasilan pipeline tidak ditentukan oleh diagram arsitektur, melainkan oleh runbook yang terstruktur. Pipeline agenik yang dibangun menggunakan Model Context Protocol melibatkan lima agen yang berkoordinasi melalui server MCP untuk Jira, Figma, Confluence, TestRail, dan GitHub, dengan Claude sebagai model orkestrasi dan Hermes-3 sebagai baseline validasi.
Salah satu tantangan utama adalah kontrak komposisi antar agen. Agen persyaratan mungkin menghasilkan output dengan bidang acceptance_criteria sebagai daftar string, sementara agen tiket mengharapkan format markdown tunggal. Ketidaksesuaian ini menghasilkan data yang rusak saat diserialisasi, yang kemudian lolos ke tahap berikutnya tanpa terdeteksi. Solusi yang efektif adalah penerapan skema dan validator pada setiap batas antar agen, ditambah rangkaian pengujian regresi untuk mendeteksi penyimpangan kontrak sebelum mencapai agen hilir.
Analisis tambahan menunjukkan bahwa penerapan validator semacam ini mendukung skalabilitas pipeline ketika tim memperluas jumlah agen tanpa meningkatkan risiko kesalahan propagasi. Selain itu, pendekatan ini selaras dengan praktik DevOps yang sudah mapan, di mana integrasi kontrak yang ketat mengurangi waktu yang dihabiskan untuk debugging manual di lingkungan terdistribusi.
Aspek kedua yang krusial adalah provanansi atau jejak audit. Setiap artefak yang dihasilkan harus dapat menjawab pertanyaan tentang agen pembuat, panggilan model yang digunakan, dan input hulu yang menjadi dasarnya. Tanpa pencatatan ini, kegagalan seperti agen yang mengutip data dari outputnya sendiri tidak dapat dilacak. Aturan “buktikan sumber” yang diterapkan melalui ID panggilan alat memastikan setiap fakta yang digunakan berasal dari sumber eksternal yang valid.
Dalam konteks industri yang semakin diatur, jejak provanansi ini memfasilitasi kepatuhan terhadap kerangka kerja manajemen risiko AI yang menekankan transparansi. Tim yang mengabaikan aspek ini berisiko menghadapi kesulitan saat audit eksternal atau tinjauan internal yang memerlukan penjelasan asal-usul keputusan.
Masalah ketiga adalah pembersihan dan kepemilikan. Pipeline yang berjalan tanpa pengawasan cenderung meninggalkan artefak seperti tiket draf di Jira atau cabang GitHub yang tidak digunakan. Pengalaman menunjukkan bahwa jumlah artefak semacam ini dapat mencapai puluhan dalam periode singkat, sehingga diperlukan skrip shutdown dan rekonsiliasi harian. Setiap sistem hilir juga harus memiliki pemilik manusia yang ditetapkan secara resmi.
Aturan penting adalah melarang agen menutup artefaknya sendiri, karena model cenderung membuat kesalahan dalam identifikasi yang tepat. Pendekatan ini memastikan bahwa tanggung jawab tetap berada pada manusia yang tercatat dalam struktur organisasi.
Secara keseluruhan, elemen-elemen runbook ini menentukan apakah pipeline agenik dapat diandalkan untuk operasi berkelanjutan atau hanya berfungsi sebagai eksperimen laboratorium. Tim yang memprioritaskan kontrak, provanansi, dan prosedur pembersihan sejak awal cenderung menghindari insiden operasional yang memakan waktu perbaikan berkepanjangan.
