Google Research membuka Harness2, kerangka agen yang belajar dari eksekusinya sendiri

Harness dalam istilah Google Research adalah sistem di sekitar model yang membuatnya bisa bertindak sebagai agen: prompt, tool, memori, skill, dan orkestrasi. Harness2 adalah kerangka plug-and-play untuk mengoptimalkan sistem itu secara rekursif pada tugas yang belum pernah dilihat saat harness dirancang. Kunci desainnya, bobot model tidak pernah diubah; yang diperbaiki adalah lapisan luar yang bisa diedit manusia dan bisa diperiksa ulang.

Ada dua lapis rekursi. Lapis pertama, task-level recursion, memperbaiki harness untuk tugas yang sedang dihadapi lewat langkah Propose-Probe-Compose: usulkan perubahan, uji efeknya pada tugas yang sama, lalu susun ulang harness dari perbedaan perilaku antar eksekusi, tanpa umpan balik kunci jawaban. Lapis kedua, harnessing-level recursion, menyimpan harness yang diadopsi beserta pelajaran yang didukung bukti ke dalam improvement harness yang permanen, sehingga tugas berikutnya mulai dari titik yang lebih tinggi.

Delapan komponen yang terbuka untuk diedit adalah system prompt, guardrails, memory, tool guidance, subagents, skills, scripts, dan plugins. Kerangka ini mendukung rekursi paralel maupun sekuensial, serta dua executor: OpenCode sebagai bawaan dan Codex lewat opsi substrate. Pada tiga benchmark profesional dan empat konfigurasi model-harness, satu langkah Harness2 meningkatkan GLM-5 dan Gemini 3.5 Flash di atas harness dasarnya, dengan kenaikan hingga 11,5 poin pada WorkBuddy-Bench, 4,5 poin pada JobBench, dan 11,8 poin persentase pada tingkat lolos sebagian di LAB.

Untuk mencoba, dibutuhkan Linux, Python 3.12, dan uv; demo lokal berjalan dengan editor deterministik dan eksekusi Python nyata tanpa kredensial model. Menjalankan benchmark berbasis model memerlukan Node.js 20 atau lebih baru, Google Cloud CLI, proyek Vertex AI, serta dependensi tambahan seperti Pandoc dan Poppler untuk LAB dan Docker untuk WorkBuddy-Bench. Dua peringatan penting tercatat di repositori: eksekusi Codex berjalan tanpa sandbox, dan akses jaringan executor tidak dibatasi, sehingga rubrik benchmark publik bisa terbaca. Sebelum evaluasi, akses jaringan perlu dibatasi agar model tidak melihat kunci jawaban. Kesimpulannya, Harness2 bukan model baru dan bukan jalan pintas menuju agen yang pintar; ia adalah alat untuk menguji apakah perbaikan pada prompt, memori, dan tool benar-benar menambah kemampuan, dan untuk menyimpan perbaikan itu sebagai aset yang bisa diulang.