Sebuah studi baru dari peneliti Apple telah memunculkan keraguan tentang kemampuan penalaran matematis model bahasa besar (LLM) seperti ChatGPT, menyoroti potensi keterbatasan dalam penggunaannya untuk tugas-tugas pemecahan masalah dan pengambilan keputusan yang kompleks.
Penelitian yang dipimpin oleh tim AI dan pembelajaran mesin Apple ini memperkenalkan tolok ukur baru yang disebut GSM-Symbolic untuk mengevaluasi kemampuan penalaran matematis LLM. Temuan mereka menunjukkan bahwa model AI saat ini kesulitan dengan penalaran logis yang sesungguhnya, terutama ketika masalah menjadi lebih kompleks.
Poin-poin utama dari studi ini meliputi:
- LLM lebih mengandalkan pencocokan pola dari data pelatihan daripada penalaran yang sebenarnya
- Akurasi menurun secara signifikan (dari 80-90% menjadi sekitar 40%) seiring meningkatnya kompleksitas masalah
- Tolok ukur yang ada seperti GSM8K mungkin terlalu tinggi dalam memperkirakan kinerja AI karena potensi kontaminasi data
- Bahkan model canggih seperti Gemma2-9B dari Google menunjukkan penurunan akurasi sebesar 15% ketika diuji dengan GSM-Symbolic
Hasil ini memiliki implikasi penting bagi bisnis dan individu yang mempertimbangkan adopsi AI:
- Alat AI seperti ChatGPT dapat membantu untuk tugas-tugas tertentu tetapi tidak boleh diandalkan untuk pengambilan keputusan kompleks atau operasi kritis.
- Pengawasan dan keahlian manusia tetap sangat penting, terutama di bidang yang membutuhkan penalaran mendalam atau pengetahuan subjek tertentu.
- Organisasi harus berinvestasi dengan hati-hati dalam AI, fokus pada area di mana AI terbukti unggul daripada berasumsi bahwa AI dapat menyelesaikan semua masalah.
- Tim perlu diedukasi tentang kemampuan dan keterbatasan AI untuk mencegah ketergantungan berlebihan atau sikap terlalu puas.
Meskipun penelitian Apple mungkin tampak bertentangan dengan pemasaran Apple Intelligence mereka, hal ini menunjukkan transparansi yang patut dipuji tentang keadaan teknologi AI saat ini. Seiring perkembangan AI, memahami kekuatan dan kelemahannya akan sangat penting untuk implementasi yang bertanggung jawab di berbagai industri.
Untuk saat ini, pesannya jelas: AI adalah alat yang kuat, tetapi belum siap untuk menggantikan penalaran dan pengambilan keputusan manusia dalam skenario yang kompleks. Saat kita menavigasi revolusi AI, pendekatan yang seimbang yang memanfaatkan kecerdasan buatan dan manusia kemungkinan akan menghasilkan hasil terbaik.