Bukan Semakin Pintar, Akurasi ChatGPT Turun Jadi 2%

ThePhrase.id - Kesuksesan awal model bahasa (Large Language Models/LLMs) berbasis kecerdasan buatan atau Artificial Intelligence (AI) tampaknya telah meredup. Sebuah studi yang dilakukan oleh para peneliti dari Stanford dan UC Berkeley mengungkap bahwa LLMs OpenAI, ChatGPT, telah mengalami penurunan kinerja yang signifikan seiring berjalannya waktu.

Dalam studi tersebut, para peneliti menyelidiki apakah LLMs ini benar-benar mengalami peningkatan, mengingat kemampuan mereka untuk diperbarui berdasarkan data, umpan balik pengguna, dan penyesuaian desain. 

Untuk mencapai hal ini, mereka memeriksa perilaku GPT-3.5 dan GPT-4 dalam versi Maret 2023 dan Juni 2023, menilai kinerjanya dalam empat tugas berbeda. Tugas-tugas ini meliputi menyelesaikan masalah matematika, menjawab pertanyaan sensitif atau berbahaya, menghasilkan kode, dan mengevaluasi kemampuan model dalam penalaran visual.

Hasilnya, kepintaran ChatGPT yang pada bulan Maret 2023 memiliki tingkat akurasi 97,6% turun menjadi 2,4% di bulan Juni 2023.

Selain itu, tim peneliti juga mengungkap bahwa GPT-4 menunjukkan keengganan menjawab pertanyaan sensitif dibandingkan dengan bulan Maret. Selain itu, baik GPT-4 maupun GPT-3.5 menunjukkan peningkatan kesalahan dalam pemformatan saat menghasilkan kode pada bulan Juni dibandingkan bulan Maret.

Profesor Ilmu Komputer UC Berkeley dan salah satu penulis penelitian, Matei Zaharia menilai bahwa penurunan kepintaran ChatGPT disebabkan oleh kesulitan pengelolaan kualitas oleh pengembangnya, OpenAI.

"Saya pikir pertanyaan sulitnya adalah seberapa baik pengembang platform mendeteksi perubahan dan mencegah hilangnya kemampuan ChatGPT," ucapnya.

Meski demikian, pembaruan GPT-4 menunjukkan ketahanan yang lebih tinggi terhadap serangan jailbreaking dibandingkan dengan GPT-3.5. Jailbreaking melibatkan manipulasi sebuah permintaan (prompt) untuk menyembunyikan pertanyaan berbahaya dan menghindari langkah-langkah perlindungan. Dengan memanipulasi permintaan tersebut, LLM  dapat menghasilkan respons yang berpotensi membantu dalam menciptakan malware.

Menanggapi studi tersebut, OpenAI membantah klaim tersebut. Peter Welinder, Wakil Presiden Produk OpenAI, menegaskan bahwa mereka sebenarnya telah menciptakan versi baru yang lebih cerdas.

"Tidak, kami tidak membuat GPT-4 lebih bodoh. Justru sebaliknya: kami membuat tiap versi baru lebih pintar dari versi sebelumnya," kata Welinder dalam sebuah tweet-nya. [nadira]