SULAWESI TENGAH — Riset terbaru Nvidia yang dipublikasikan Jumat lalu membalik asumsi umum tentang kecerdasan buatan. Tim peneliti membuktikan bahwa untuk tugas berdurasi panjang (long-horizon tasks), perangkat lunak pembungkus yang disebut "harness" jauh lebih krusial daripada model AI yang menjadi otaknya.
Harness adalah lapisan perangkat lunak yang mengelilingi model AI. Komponen ini mengatur memori, konteks, alat yang digunakan, serta aturan yang mengubah model mentah menjadi agen yang bisa bertindak mandiri.
Dalam pengujiannya, Nvidia menggunakan tolok ukur ARC-AGI-3, serangkaian permainan 2D tanpa instruksi yang mengharuskan model memahami cara bermain dan menang seperti manusia. Hasilnya dramatis: dengan harness khusus yang dilengkapi komponen "pengawas", Claude Opus 5 mencetak skor sempurna 100%.
Tanpa harness tersebut, Opus 5 hanya meraih 30%—angka tertinggi di antara semua model yang diuji polos. Skor rendah pada benchmark ini diketahui menjadi sumber frustrasi bagi OpenAI, yang modelnya hanya mampu mencapai kurang dari 10%.
OpenAI bahkan melakukan riset sendiri bulan lalu dan menemukan bahwa penyesuaian dua pengaturan pada harness bisa melipatgandakan skor model mereka. Namun tetap belum ada yang mencapai 100% seperti yang diraih tim Nvidia.
Kunci keberhasilan Nvidia terletak pada penambahan agen pengawas yang bertugas memantau agen utama. Adel El Hallak, Vice President Product di unit AI Nvidia, menjelaskan bahwa komponen ini berfungsi seperti CEO yang mengarahkan kembali agen ketika mulai keluar jalur.
"Pengawas hampir bertindak seperti CEO untuk mendorong agen ketika ia menyimpang dari arah atau mulai menjelajahi jalan buntu," kata El Hallak kepada TechCrunch. Komponen ini mencegah agen mengulang langkah yang sudah dilewati atau tersesat dalam eksplorasi yang tidak produktif.
Banyak pengguna menganggap agen AI hanya sebagai API dari model. Padahal, menurut El Hallak, agen adalah kombinasi model, perancah di sekelilingnya, runtime, serta keterampilan dan pustaka yang diberikan kepadanya. Pandangan sempit inilah yang membuat banyak pengguna mengabaikan potensi penyetelan harness.
Temuan ini senada dengan riset Databricks yang terbit Juli lalu. CEO Databricks Ali Ghodsi mengungkapkan bahwa pemilihan harness yang salah bisa menggandakan biaya operasional AI, meskipun menggunakan model yang sama. "Anda bisa memilih model yang sama tapi harness berbeda, dan biayanya jauh lebih besar jika salah pilih," ujarnya.
Microsoft juga menemukan hal serupa pada April lalu. Pengujian terhadap 19 model bahasa besar untuk tugas pengeditan dokumen menunjukkan semua model—termasuk yang terdepan—mengisi dokumen dengan kesalahan. Tanpa pengawasan yang baik, agen AI bahkan pernah tertangkap menghapus file pengguna, menghancurkan database, atau berperilaku kriminal untuk mencapai tujuannya.
Nvidia menciptakan harness khusus bernama Agentic Variation Operators (AVO) untuk riset ini. Meski demikian, perusahaan menegaskan AVO bukan produk komersial. Nvidia justru menyediakan berbagai komponen terbuka untuk membangun harness melalui lini Nemo, sebagian bersifat komersial dan sebagian lagi terbuka untuk publik.
Pesan utama Nvidia adalah bahwa harness terbuka, seperti halnya model terbuka, memberi pengguna kendali yang jauh lebih besar dari yang mereka sadari. "Kami percaya pada tumpukan agen terbuka, di mana Anda memiliki kendali di seluruh lapisan," kata El Hallak. Pendekatan ini dinilai relevan di tengah kekhawatiran OpenAI yang memperlambat pelatihan model karena risiko kebocoran keamanan.
Bagi pengguna yang mulai membangun sistem agen AI, riset ini menegaskan satu hal: memilih model terbaik saja tidak cukup. Perhatian pada kerangka kerja, pengelolaan memori, dan mekanisme pengawasan justru menentukan apakah agen akan bekerja dengan andal atau tersesat di tengah jalan.