نتائج بحث ChatGPT للأخبار “لا يمكن التنبؤ بها” وغير دقيقة في كثير من الأحيان
الرسم التوضيحي: الحافة بناءً على تم إجراء الاختبار من قبل الباحثين في مركز تاو للصحافة الرقمية في كولومبيا، تواجه أداة بحث ChatGPT الخاصة بـ OpenAI بعض المشكلات عندما يتعلق الأمر بالرد بالحقيقة. OpenAI أطلقت الأداة للمشتركين في أكتوبر، قائلة إنها يمكن أن تقدم “إجابات سريعة وفي الوقت المناسب مع روابط لمصادر الويب ذات الصلة”. بدلاً من، وتشير المستقبلية الذي – التي وقال الباحثون إن البحث في ChatGPT يواجه صعوبات لتحديد الاقتباسات من المقالات بشكل صحيح، حتى عندما تأتي من ناشرين لديهم ترتيبات لمشاركة البيانات مع OpenAI. طلب المؤلفون من ChatGPT تحديد مصدر “مئتي اقتباس من عشرين مطبوعة”. أربعون من هذه الاقتباسات مأخوذة من الناشرين الذين منعوا زاحف بحث OpenAI من الوصول إلى موقعهم. ومع ذلك، رد برنامج الدردشة الآلي بثقة بمعلومات كاذبة على أي حال، ونادرًا ما اعترف بأنه غير متأكد من التفاصيل التي قدمها: في المجمل، أعاد ChatGPT ردودًا غير صحيحة جزئيًا أو كليًا في مائة وثلاث وخمسين مناسبة، على الرغم من أنه اعترف فقط بعدم القدرة على الاستجابة بدقة للاستعلام سبع مرات. فقط في تلك المخرجات السبعة، استخدم برنامج الدردشة كلمات وعبارات مؤهلة مثل “يبدو” أو “من الممكن” أو “ربما” أو عبارات مثل “لم أتمكن من تحديد موقع المقالة بالضبط”. الصورة: Columbia Journalism Review كان ChatGPT مخطئًا كليًا أو جزئيًا أكثر من كونه صحيحًا، ولكن دائمًا ما يكون كذلك بثقة. قام مؤلفو اختبار Tow Center بتوثيق نتائج بحث ChatGPT التي أخطأت في نسب اقتباس رسالة إلى المحرر من Orlando Sentinel إلى قصة منشورة في مجلة Time. في مثال آخر، عندما يُطلب منك تحديد مصدر الاقتباس من أ مقال نيويورك تايمز فيما يتعلق بالحيتان المهددة بالانقراض، أعادت رابطًا إلى موقع ويب مختلف قام بسرقة القصة بالكامل. “من الصعب معالجة الإسناد الخاطئ بدون البيانات والمنهجية التي حجبها مركز السحب”، قال OpenAI لـ مراجعة كولومبيا للصحافة“وتمثل الدراسة اختبارًا غير نمطي لمنتجنا.” ووعدت الشركة “بمواصلة تحسين نتائج البحث”.
المصدر
