Studi Terbaru: Agen AI Masih Belum Siap Gantikan Manusia di Tempat Kerja

Menurut Yahoo Tech, para peneliti membangun lingkungan simulasi yang mereka sebut "TheAgentCompany". Di sana, mereka menciptakan situs web internal, program chat, dan bot AI yang berperan sebagai manajer SDM dan CTO. Tujuannya adalah untuk menguji apakah agen AI, yang seharusnya bisa bertindak mandiri dan membuat keputusan, mampu menyelesaikan tugas di bidang seperti keuangan, administrasi, dan rekayasa perangkat lunak. Artikel tersebut memberikan contoh lucu ketika "karyawan baru" AI mencoba menyelesaikan tugas, tetapi manajer SDM AI tidak bisa memberitahu cara menutup pop-up sederhana. `'IT akan segera menghubungi Anda untuk menyelesaikan masalah akses ini,' Xinyi membalas pesan teks. Namun, mereka tidak pernah menghubungi IT, dan karyawan baru tersebut tidak pernah menindaklanjutinya. Tugas tersebut tidak diselesaikan." Ini menunjukkan betapa AI masih kekurangan akal sehat dasar.

Agen AI sedang digembar-gemborkan sebagai lompatan besar berikutnya dalam teknologi AI, yang diharapkan bisa melampaui kemampuan chatbot biasa dan bertindak secara independen. Perusahaan teknologi besar seperti Google, Amazon, dan OpenAI berlomba-lomba mengembangkannya, dengan beberapa CEO memperkirakan agen AI akan "bergabung dengan angkatan kerja" dalam waktu dekat. Potensinya terdengar luar biasa—membayangkan AI yang bisa membeli barang atau mengelola alur kerja rumit untuk kita. Antusiasme industri terhadap agen AI memang sangat tinggi, namun hasil uji coba di dunia nyata seperti ini sangat penting untuk menyeimbangkan ekspektasi.

Seperti yang dilaporkan oleh Yahoo Tech, hasil dari simulasi Carnegie Mellon ini ternyata cukup mengecewakan. Model dengan performa terbaik, Claude 3.5 Sonnet dari Anthropic, hanya berhasil menyelesaikan kurang dari seperempat dari semua tugas. Sementara itu, model-model lain, termasuk Gemini 2.0 Flash dari Google dan model yang mendukung ChatGPT, hanya mampu menyelesaikan sekitar 10% dari tugas yang diberikan. Salah satu penulis studi, Graham Neubig, menyatakan, "'Meskipun agen dapat digunakan untuk mempercepat beberapa bagian tugas yang dilakukan pekerja manusia, mereka kemungkinan bukan pengganti untuk semua tugas saat ini.'" Studi ini menemukan bahwa agen AI masih kesulitan dalam hal akal sehat, keterampilan sosial, kemampuan menggunakan alat yang kompleks, dan memahami konteks. Hasil ini jelas menunjukkan bahwa gagasan tenaga kerja yang sepenuhnya diisi oleh AI masih sangat jauh.

Studi ini menyoroti bahwa melatih AI agar menjadi mitra percakapan yang baik relatif mudah, tetapi jauh lebih sulit untuk melatih mereka melakukan semua hal yang bisa dilakukan oleh karyawan manusia, terutama tugas yang rumit dan berlapis-lapis serta melibatkan penggunaan banyak alat. Menariknya, agen AI justru menunjukkan performa yang lebih baik dalam tugas rekayasa perangkat lunak (kemungkinan karena ketersediaan data pelatihan publik yang lebih banyak). Namun, mereka masih berjuang keras dalam tugas administrasi dan keuangan. Meskipun agen AI mungkin "kemampuannya sangat dibesar-besarkan" saat ini, penelitian ini menunjukkan area spesifik yang perlu diperbaiki dan bagaimana perusahaan mulai melatih mereka menggunakan data internal pribadi untuk meningkatkan efektivitas. Jelas bahwa agen AI adalah masa depan, tetapi kenyataan saat ini menunjukkan mereka lebih cocok sebagai asisten, bukan pengganti, untuk sebagian besar pekerjaan manusia. Bagaimana pendapat kalian tentang hasil studi ini? Apakah kalian terkejut dengan kegagalan agen AI di simulasi ini? (tmtiwow)