ChatGPT اغلب پاسخهای برنامه نویسی نادرستی میدهد!
در بیش از یک سال گذشته، هوش مصنوعی و چتباتهایی مانند ChatGPT از کمپانی OpenAI همواره به عنوان ابزارهایی انقلابی معرفی شدهاند که میتوانند به انسانها در مشاغل مختلف کمک کنند تا کارهایشان را با بهرهوری بیشتری انجام دهند و حتی ممکن است در آینده جایگزین این افراد شوند. اما مطالعهای جدید نشان میدهد که ChatGPT در پاسخ به سوالات برنامهنویسی اشتباهاتی واضح دارد. این تحقیق که توسط دانشگاه پردو انجام شده و اولین بار توسط خبرگزاری Futurism منتشر شد، نتایج جالبی را به همراه داشته است. با پامپا همراه باشید.
نتایج مطالعه دانشگاه پردو
این مطالعه که در کنفرانس تعامل انسان و کامپیوتر (Computer-Human Interaction Conference) در هاوایی ارائه شد، به بررسی 517 سوال برنامهنویسی از سایت Stack Overflow پرداخت که به ChatGPT داده شده بودند. نتایج نشان داد که 52 درصد از پاسخهای ChatGPT حاوی اطلاعات نادرست بودند و 77 درصد از پاسخها نیز بسیار حجیم بودند.
با این حال، شرکتکنندگان در مطالعه هنوز 35 درصد از پاسخهای ChatGPT را به دلیل جامعیت و زبان روان ترجیح میدادند. این امر نشان میدهد که حتی اگر اطلاعات ارائه شده توسط هوش مصنوعی نادرست باشد، باز هم ممکن است به دلیل بیان شفاف و جذاب آن مورد قبول قرار گیرد و این واقعاً خطرناک است.
اهمیت مقابله با اطلاعات نادرست
یکی از نکات نگرانکننده این مطالعه این است که برنامهنویسان در 39 درصد از مواقع اشتباهات موجود در پاسخهای ChatGPT را تشخیص نمیدادند. این مسئله نشان میدهد که نیاز به مقابله با اطلاعات نادرست در پاسخهای هوش مصنوعی و افزایش آگاهی در مورد خطرات مرتبط با پاسخهای ظاهراً صحیح، امری حیاتی است.
شرکتهای بزرگ فناوری مانند متا، مایکروسافت و گوگل میلیاردها دلار در زمینه هوش مصنوعی سرمایهگذاری کردهاند تا چتباتهای قابل اعتمادتری ارائه دهند. این شرکتها در رقابتی شدید هستند تا این فناوری نوظهور را که پتانسیل تغییر بنیادی رابطه ما با اینترنت را دارد، به دست آورند.
گوگل در برابر این انتقادات دفاع نموده و اعلام کرده است که پاسخهای نادرست تنها در موارد نادر رخ میدهند و نمایانگر تجربیات بیشتر مردم نیستند. یک سخنگوی گوگل به Gizmodo گفته:
اکثر نتایج AI Overviews اطلاعات با کیفیت بالا را ارائه میدهند که شامل لینکهایی برای بررسی بیشتر در وب میشود.
اما این دفاعیه که در آن ادعا شده تنها پرسشهای “غیرعادی” منجر به پاسخهای نادرست میشوند، قابل پذیرش نیست. این ابزارها به عنوان ابزاری انقلابی معرفی شدهاند که باید بتوانند به سوالات مختلف پاسخ دهند، نه تنها سوالات ساده و روزمره افراد.
در نهایت، مطالعه دانشگاه پردو نشان میدهد که هوش مصنوعی و چتباتهایی مانند ChatGPT هنوز راهی طولانی در پیش دارند تا بتوانند به عنوان ابزارهایی قابل اعتماد در زمینههای تخصصی مانند برنامهنویسی عمل کنند. با وجود تلاشهای گسترده شرکتهای بزرگ فناوری، هنوز مشکلاتی مانند ارائه اطلاعات نادرست و عدم تشخیص این اطلاعات توسط کاربران وجود دارد. این مسائل نیازمند توجه و تلاشهای بیشتری برای بهبود دقت و قابل اعتماد بودن پاسخهای هوش مصنوعی است.
