پژوهش پردو: چتبات ChatGPT در نیمی از چالشهای کدنویسی ناکام ماند

تیم محققان علوم کامپیوتر دانشگاه پردو با تحلیل عملکرد ChatGPT در مواجهه با پرسشهای برنامهنویسی، یافتههای نگرانکنندهای را منتشر کردهاند. بر اساس این مطالعه، محبوبترین مدل زبانی بزرگ در نیمی از موارد نتوانسته است راهنمایی دقیق و صحیحی ارائه دهد.
نتایج این تحقیق که بخشی از مجموعه مقالات کنفرانس CHI ۲۰۲۴ (کنفرانس عواملی انسانی در سیستمهای محاسباتی) منتشر شده، شکاف عمیقی بین انتظار کاربران و واقعیت عملکردی این ابزارها را آشکار میکند. محققان روششناسی خود را در مقاله کامل با شناسه DOI تشریح کردهاند.
تحلیل عملکرد مدلهای زبانی بزرگ در پاسخگویی به تکالیف کدنویسی
با رواج روزافزون مدلهای زبانی بزرگ در دسترس عموم، وابستگی دانشجویان و توسعهدهندگان مبتدی به این ابزارها برای نوشتن کد، رفع خطا و درک مفاهیم برنامهنویسی به شدت افزایش یافته است. با وجود حجم عظیم دادههای آموزشی مفید، این سیستمها مستعد تولید اطلاعات گمراهکننده یا کاملا ساختگی هستند؛ خطایی که تشخیص آن برای کاربران غیرحرفهای دشوار است.
متدولوژی پژوهش چگونه دقتسنجی شده است؟
محققان برای ارزیابی دقت ChatGPT از روششناسی زیر استفاده کردهاند
- حجم نمونه ۵۱۷ پرسش واقعی استخراج شده از پلتفرم، مرجع تخصصی جامعه برنامهنویسان.
- معیار ارزیابی مقایسه پاسخهای ChatGPT با جوابهای پذیرفته شده و تایید شده توسط خبران در
- نسبت موفقیت تنها در ۵۲ درصد موارد، پاسخهای تولید شده توسط هوش مصنوعی، دقت و صحت فنی مورد قبول را داشتند.
این آمار، زنگ خطر برای سیستمهای آموزشی و محیطهای کاری است که به سرعت در حال جایگزینی جستجوی سنتی و مشورت همکاران با پرسش از چتباتها هستند.
دلایل ناکارآمدی و ریسکهای موجود
محققان بر چند عامل کلیدی به عنوان ریشهیابی این خطاها تأکید کردهاند
- کمبود درک عمیق منطق برنامه مدلها الگوهای آماری را پیشبینی میکنند، نه منطق اجرایی کد را درک میکنند.
- قدیمی بودن دادههای آموزشی کتابخانهها و ها به سرعت تکامل مییابند، در حالی که دانش مدل ممکن است منسوخ شده باشد.
- عدم قابلیت تست و اجرا ChatGPT کد را اجرا نمیکند؛ بنابراین خطاهای یا منطقی را پیش از نمایش به کاربر شناسایی نمیکند.
راهکارهای مدیریت ریسک برای توسعهدهندگان
با وجود محدودیتها، انکار کاربرد این ابزارها ممکن نیست. استراتژیهای پیشنهادی برای استفاده ایمن عبارتند از
- استفاده به عنوان ترسیمکننده ایده اولیه یا تولیدکننده بویپلیت ، نه مرجع نهایی.
- اجرا و تست اجباری هر قطعه کد پیش از ادغام در پروژه اصلی.
- تبعیض بین سینتکس که معمولا صحیح است، و سماتیک/منطق (/) که منبع اصلی خطاست.
- ارجاع به مستندات رسمی و برای اعتبارسنجی پاسخهای حساس.
این مطالعه که در دوره ۱۱ تا ۱۶ مه ۲۰۲۴ در کنفرانس CHI ارایه شد، تأکید میکند که توسعه شیشه لایههای اعتبارسنجی برای خروجیهای مدلهای زبانی بزرگ، اولویت پژوهشی و صنعتی در سالهای آینده خواهد بود.