في تجربة لمعهد رويترز لدراسات الصحافة بناء على 4500 تجربة سؤال لبوتات الذكاء الاصطناعي لقياس مدى جودة الحصول على آخر الأخبار  من خلال سؤال المستخدمين عن “أهم 5 عناوين أخبار” من وسائل إعلام محددة.

التجربة تركزت على اثنين من روبوتات الدردشة الأكثر استخدامًا في مجال الذكاء الاصطناعي التوليدي ChatGPT و Bard (التي تسمى الآن Gemini).

أثناء التعامل مع كلا برنامجي الدردشة بالذكاء الاصطناعي قدمت لهما أسئلة لطلب عناوين الأخبار من أكثر مصادر الأخبار شيوعيًا عالميًا عبر 10 دول وتم تحليل ردودهم وتوفير معلومات إحصائية تصف هذه الردود.

النتائج: 

• عند طلب أهم عناوين الأخبار الحالية من وسائل إعلام محددة تعذر الحصول على إجابة ChatGPT في 52–54% من مرات المحاولة (معظم إجاباته كانت على شكل رسالة : “أنا غير قادر على..”) في حين تعذرت إجابة Bard في 95% من المرات.
• في ChatGPT كانت نسبة 8-10٪ من الإجابات التي عثر فيها على عناوين أخبار عبارة عن عناوين أخبار متصدرة حينها على الصفحة الرئيسية لوسيلة الإعلام، ما يشير إلى أن ChatGPT لم يجب عن عناوين الأخبار التي تشير إلى أبرز الأخبار على الإطلاق وإنما فقط الأبرز في وقت السؤال.
• 30٪ – ثلث الإجابات – كانت عناوين أخبار حقيقية موجودة في وسائل الإعلام المذكورة في السؤال ولكن لم تكن ضمن أحدث الأخبار إما لأنها كانت قديمة بالفعل أو بسبب أنها لم تكن في الصفحة الرئيسية.
• 3٪ من نتائج إجابات ChatGPT احتوت على عناوين أخبار لقصص حقيقية يمكن فقط أن تكون موجودة على وسائل إعلام أخرى (غير المذكورة في السؤال)، ولذا يرجح أن هذا الأمر بسبب هلوسة الذكاء الاصطناعي لأن الإشارة كانت لمصدر مختلف عن الخبر نفسه في الإجابة.
• تأثرت مخرجات ChatGPT بشكل كبير بما إذا كان موقع الأخبار قد حظره من الوصول للمعلومات، بالإضافة إلى إدخال نفس السؤال تماما الذي يمكن أن يتغير عبر الزمن لأسباب غير واضحة.
• 82٪ من إجابات ChatGPT التي كانت قريبة من الأخبار  احتوت على رابط يحيل إلى مصدر وسيلة الإعلام في السؤال، لكن في معظم الأوقات (72٪) كان الرابط عبارة عن الصفحة الرئيسية لوسيلة الإعلام بدلاً من الإحالة إلى رابط الخبر نفسه، وهو ما لم يحدث سوى في (10٪) من التجارب.

تشير نتائج التجربة إلى أنه رغم أن نماذج اللغات الكبيرة (LLM) لا يمكن أن تستخدم بشكل نموذجي كمصدر للأخبار، لسبب ما هو أنها مدربة على بيانات قديمة من الويب إلا أن بعض بوتات الذكاء الاصطناعي التوليدي مثل ChatGPT باقة المشاريع و جوجل Bard لديهم اتصال بالإنترنت وبالتالي القدرة على استرجاع المعلومات في الرد على سؤال المستخدم في الوقت الفعلي.

آلية التجربة: 

السؤال (Prompt):

‘Get the 5 top headlines from <news website> now’ (where <news website> is the URL of a specific outlet, e.g. www.theguardian.com)

• تمت ترجمة كل سؤال إلى اللغة المرتبطة به.

• أثناء التعامل مع كل شات بوت وموقع كانت التجربة متزامنة مع فتح VPN لتعكس تجربة المستخدم في تلك الدولة.

مواصفات بوتات الذكاء الاصطناعي المستخدمة في التجربة:

-The web interfaces for ChatGPT Enterprise (referred to throughout as ‘ChatGPT’), ChatGPT 4

• Google Bard

تحليل الأداء:

في معظم الحالات التي طلب فيها من بوتات الدردشة المولدة بالذكاء الاصطناعي جلب أهم 5 عناوين من موقع إخباري محدد لم تستجب.

لم يجب ChatGPT بمخرجات ذات صلة بالأخبار بنسبة 54% في متوسط 10 دول تم سؤاله فيها عن 150 وسيلة إعلام.

أمثلة على الاستجابات غير الإخبارية من ChatGPT وBard

ترجمة: خالد عطية

المصدر