Penelitian terbaru dari tim Frontier Red Team Anthropic mengungkap risiko yang muncul ketika beberapa agen kecerdasan buatan (artificial intelligence) bekerja secara otonom dalam satu ruang kerja digital. Tanpa arahan langsung dari manusia, agen-agen AI dalam simulasi tersebut justru dapat terlibat konflik, saling mengganggu, hingga menggunakan malware untuk mempertahankan tugas masing-masing.
Temuan ini menunjukkan adanya risiko baru seiring semakin luasnya penggunaan sistem AI otonom. Ketika berbagai agen AI nantinya ditempatkan dalam infrastruktur penting dan harus berinteraksi satu sama lain, konflik antarsistem berpotensi menimbulkan masalah yang sebelumnya tidak diperhitungkan oleh pengembangnya.
Agen AI Terlibat Perang WilayahDalam eksperimen tersebut, Anthropic menempatkan tiga agen berbasis model bahasa Claude dalam satu proyek perangkat lunak. Masing-masing agen menerima instruksi yang berbeda dan saling bertentangan. Mereka juga tidak diberi tahu bahwa ada agen AI lain yang mengerjakan proyek yang sama.
Alih-alih berkoordinasi, agen-agen itu justru menganggap aktivitas satu sama lain sebagai gangguan terhadap tugas mereka. Konflik kemudian berkembang menjadi apa yang disebut peneliti sebagai "perang wilayah multi-agent".
Dalam beberapa simulasi, agen bahkan menggunakan malware yang dapat mereplikasi diri untuk mengganggu agen lain dan memastikan tugasnya tetap berjalan. Temuan ini menunjukkan bahwa kemampuan AI yang semakin canggih juga dapat membuat sistem tersebut lebih efektif dalam melakukan tindakan yang merugikan ketika tujuan yang diberikan saling bertentangan.
AI Bisa Membuat Gencatan SenjataMeski demikian, konflik tidak selalu berakhir dengan kehancuran. Dalam sejumlah simulasi, agen AI justru menemukan cara untuk mengakhiri perselisihan.
Beberapa agen membuat kesepakatan gencatan senjata, sementara yang lain menciptakan mekanisme seperti turnamen simulasi untuk menentukan pemenang. Model seperti Mythos 5 tercatat cukup adaptif dalam menyelesaikan konflik melalui pendekatan damai, dengan tingkat keberhasilan mencapai 98 persen dalam pengujian tersebut.
Sebaliknya, model yang lebih kuat seperti Sonnet 4.6 dan Opus 4.6 justru lebih sering melakukan eskalasi. Menurut peneliti, kedua model tersebut berulang kali gagal mempertimbangkan tujuan agen lain sehingga terus menjalankan instruksinya sendiri, meskipun tindakan tersebut memperburuk konflik.
Menariknya, ketika berhasil mencapai kesepakatan damai, beberapa agen bahkan membuat pesan komitmen atau dokumen dalam format Markdown. Mereka meminta maaf atas tindakan sabotase sebelumnya dan meminta manusia turun tangan untuk menyelesaikan konflik instruksi.
Agen AI Juga Bisa Berkolusi Menentukan HargaAnthropic tidak hanya menguji konflik antarsistem. Peneliti juga melihat bagaimana agen AI berperilaku dalam simulasi ekonomi melalui permainan penentuan harga.
Dalam skenario tersebut, beberapa agen diminta memaksimalkan keuntungan masing-masing. Ketika diberi saluran komunikasi pribadi, para agen dengan cepat menemukan cara untuk melakukan kolusi secara diam-diam dan menetapkan batas harga minimum.
Perilaku tersebut tetap muncul setelah saluran komunikasi pribadi ditutup. Para agen masih dapat menyelaraskan harga dengan memanfaatkan papan pengumuman yang bisa dilihat secara publik.
Temuan ini menunjukkan bahwa agen AI tidak selalu membutuhkan komunikasi langsung untuk menemukan pola kerja sama yang menguntungkan kepentingan bersama.
Risiko Mentalitas Kelompok pada AIPola tersebut menimbulkan kekhawatiran lain, yakni munculnya "mentalitas kelompok" (mob mentality) pada sistem AI.
Fenomena serupa juga pernah menjadi perhatian dalam pengujian keamanan AI. Ketika beberapa agen bekerja bersama, satu agen yang menemukan atau mengambil keputusan buruk dapat memengaruhi agen lain untuk mengikuti tindakan yang sama.
Kesalahan yang awalnya dilakukan oleh satu agen dapat berubah menjadi kegagalan kolektif ketika agen-agen lain ikut menirunya. Jika pola ini terjadi pada sistem yang digunakan dalam lingkungan nyata, dampaknya berpotensi jauh lebih besar daripada kesalahan yang dilakukan oleh satu agen saja.
Penelitian Anthropic memperlihatkan bahwa tantangan pengembangan AI bukan hanya soal membuat satu agen menjadi lebih pintar. Pengembang juga perlu memastikan banyak agen AI dapat bekerja bersama tanpa saling mengganggu, berkolusi, atau memperbesar kesalahan satu sama lain.
