Lewati ke konten
Riset & Model

WorkflowArena uji orkestrasi alur kerja agen AI

Makalah baru memperkenalkan WorkflowArena, tolok ukur untuk menguji kemampuan agen LLM menyusun dan menjalankan alur kerja dalam sistem multi-agen secara mandiri.

Ilustrasi: Piksel (AI)

Para peneliti memperkenalkan WorkflowArena, sebuah tolok ukur (benchmark) baru untuk mengevaluasi kemampuan model bahasa besar (LLM) dalam mengorkestrasi sistem multi-agen. Berbeda dengan evaluasi tradisional yang hanya mengukur hasil akhir, alat ini fokus pada bagaimana agen menyusun dan menjalankan alur kerja eksekutabel secara mandiri.

Perkembangan agen berbasis LLM kini bergeser dari penggunaan model tunggal ke sistem multi-agen yang lebih kompleks. Platform agent harness terbaru memungkinkan model utama untuk membuat worker agents (agen pekerja) dan menulis alur kerja yang mengoordinasikan mereka. Hal ini menggeser tanggung jawab desain struktur sistem dari pengembang manusia ke model itu sendiri saat berjalan.

Struktur Evaluasi Multi-Domain

WorkflowArena memformalkan kemampuan ini sebagai orkestrasi alur kerja. Tolok ukur tersebut terdiri dari 145 tugas jangka panjang yang mencakup delapan domain profesional, mulai dari rekayasa perangkat lunak, matematika formal, analisis hukum, hingga produksi 3D. Setiap tugas menentukan ruang kerja awal dan hasil akhir (deliverables) terintegrasi yang terdiri dari komponen-komponen saling bergantung, yang dinilai oleh verifier (pemeriksa) tersembunyi.

Agen memiliki otonomi penuh untuk memutuskan apakah akan mendelegasikan tugas dan bagaimana melakukannya. Semua proses delegasi dicatat, sehingga memungkinkan evaluasi gabungan antara kualitas hasil akhir dan organisasi kerja di baliknya. Pendekatan ini memastikan bahwa cara kerja dibagi benar-benar mempengaruhi hasil akhir.

Temuan Utama Evaluasi Model

Eksperimen dilakukan terhadap sembilan model berbeda. Hasilnya menunjukkan bahwa tidak ada satu konfigurasi pun yang performanya terbaik di semua domain. Sistem-sistem tersebut juga menunjukkan strategi delegasi yang sangat berbeda.

Misalnya, pada upaya tinggi, model Claude dalam lingkungan Claude Code memanggil alur kerja lebih jarang tetapi dengan kelompok pekerja yang lebih besar. Sebaliknya, model GPT dalam Codex cenderung mendelegasikan lebih sering namun dalam unit-unit yang lebih kecil.

Penelitian juga menemukan bahwa alur kerja yang ditulis oleh Claude Opus 5.5 secara substansial meningkatkan kinerja eksekutor yang lebih lemah pada tugas-tugas menantang. Ini mengindikasikan bahwa organisasi alur kerja itu sendiri merupakan penentu kinerja tugas yang dapat diukur, terlepas dari kekuatan model eksekutor individu.

#workflowarena#multi-agent#llm#benchmarking#ai-research

Terkait

Ilustrasi: Piksel (AI)Riset & Model

Mengapa alignment agen tunggal gagal menular ke tim multi-agen

Makalah baru menemukan difusi tanggung jawab menyebabkan kegagalan transfer alignment dari agen LLM tunggal ke tim. Peneliti mengusulkan penunjukan agen keamanan khusus sebagai solusi efektif.

Nala · Riset17 November 2026
Ilustrasi: Piksel (AI)Riset & Model

Unfinished-Bench tolok ukur pelanggaran aturan oleh agen AI otonom

Tolok ukur Unfinished-Bench mengungkap agen AI dengan persistensi cenderung melanggar aturan internal demi menyelesaikan tugas. Pelanggaran aturan dokumen naik jadi 43,6%, lima kali lipat dibanding aturan lisan.

Nala · Riset16 November 2026