LLM hallucinations — الهلوسة والإجابات غير الصحيحة لنماذج اللغة الكبيرة (LLM)

From Systems analysis wiki
Jump to navigation Jump to search

الهلوسة (بالإنجليزية: hallucination) في سياق نماذج اللغة الكبيرة (LLM) هي ظاهرة يقوم فيها النموذج بتوليد إجابة تبدو معقولة (plausible) ومقنعة، لكنها في الواقع لا تتوافق مع الحقيقة أو السياق المقدم، أو تكون متناقضة داخليًا[1][2]. يقوم النموذج «باختلاق» حقائق أو تفاصيل أو استنتاجات منطقية غير موجودة في البيانات المصدرية.

من المهم ملاحظة أن الهلوسة ليست عطلاً أو خطأً برمجيًا (bug) بالمعنى التقليدي. فالنموذج يعمل كما تم تصميمه: يتنبأ بالاستكمال الأكثر احتمالاً للنص بناءً على الأنماط التي استخلصها من بيانات التدريب. وهو لا يملك آلية مدمجة للتحقق من الصحة[3]. تختلف الهلوسة عن الأخطاء البسيطة في أنها تقدم معلومات خاطئة بثقة، وغالبًا ما تتضمن حقائق أو مراجع أو أحداثًا غير موجودة[4]. أصبحت هذه الظاهرة ذات أهمية كبيرة لدرجة أن قاموس كامبريدج أضاف في عام 2023 تعريفًا جديدًا لمصطلح «hallucination» يتعلق بالذكاء الاصطناعي[5].

تعريفات وتصنيف الهلوسة

على الرغم من استخدام مصطلحات مختلفة (مثل «التلفيق» أو «الاختلاق»)، يمكن تقسيم الهلوسة في نماذج اللغة الكبيرة إلى فئتين رئيسيتين: تلك المتعلقة بـالدقة الواقعية والأخرى المتعلقة بـالوفاء للمصدر (الاتساق السياقي)[6].

الهلوسة الواقعية

هذه هي الحالة التي يقدم فيها النموذج معلومات غير صحيحة واقعيًا عن العالم الحقيقي. يؤكد النموذج على «حقيقة» خاطئة كما لو كانت صحيحة[1].

  • مثال: «كان تشارلز ليندبيرغ أول شخص يطأ سطح القمر» — حقيقة مختلقة بالكامل.
  • اقتباسات ومراجع خاطئة: قد يخترع النموذج مرجعًا لورقة علمية أو قانون غير موجود، محاكيًا شكل المرجع الحقيقي[2]. هذا يقوض الثقة في النماذج، خاصة في التطبيقات التي تتطلب الدقة (التعليم، الأخبار، الاستشارات)[7].

الأخطاء المنطقية

يرتكب النموذج تناقضًا أو خطأً في الاستدلال. قد تكون الحقائق الفردية في الإجابة صحيحة، لكن الاستنتاج غير منطقي أو يتعارض مع المنطق الأساسي[2]. يحدث هذا غالبًا في الاستدلالات المعقدة أو المسائل الرياضية والسببية، حيث يتعامل النموذج مع الروابط الاحتمالية للكلمات بدلاً من المنطق الرسمي[2][2].

  • مثال: «بما أن الطيور تطير، فإن رواد الفضاء لا يشعرون بالجاذبية» — يبدو النص مترابطًا، لكنه غير صحيح منطقيًا.

هلوسة السياق

لا تتوافق إجابة النموذج مع السياق أو التعليمات المقدمة. «يخرج» النموذج عن السياق، مضيفًا معلومات إضافية أو متجاهلاً المعلومات المطلوبة[1].

  • انتهاك التعليمات: عند طلب «ترجمة النص إلى الإسبانية»، يجيب النموذج باللغة الإنجليزية[1].
  • معلومات ليست من المصدر: في مهمة تلخيص، «يضيف» النموذج حقائق غير موجودة في المستند الأصلي، أو يحرفها[1].
  • خلط السياقات: في منتصف الإجابة، قد يبدأ النموذج فجأة في الحديث عن شيء من مجال آخر. على سبيل المثال، ردًا على سؤال حول مفوض NBA آدم سيلفر، قد ينتقل النموذج إلى سلفه ديفيد ستيرن، مما يخلط بين سياقين مختلفين[6].

عدم الاتساق

هو نوع من الهلوسة يناقض فيه النموذج نفسه ضمن إجابة واحدة أو سلسلة من الإجابات[6]. في إحدى الدراسات، وُجد أن مستوى التناقض الذاتي في إجابات ChatGPT يبلغ حوالي 14%[6][6].

  • مثال: «تأسست الشركة (س) عام 1990... وبعد بضع جمل ... الشركة (س)، التي تأسست عام 2000...»

الهلوسة في الشيفرة البرمجية

يمكن لنماذج اللغة الكبيرة المدربة على الشيفرة البرمجية أن تولد مقتطفات صحيحة من الناحية النحوية ولكنها غير قابلة للتشغيل، باستخدام دوال أو مكتبات أو معلمات غير موجودة[2]. على سبيل المثال، قد يولد النموذج `import quantum` في Python، على الرغم من عدم وجود مثل هذه الوحدة القياسية. في عام 2024، تم اقتراح مصطلح «code hallucination» وإنشاء معيار تقييم CodeMirage لتنظيم هذه المشكلة[8].

أسباب الحدوث

تنشأ ظاهرة الهلوسة نتيجة لمجموعة من العوامل، بدءًا من بنية النموذج وانتهاءً بجودة البيانات.

  • البنية ومبدأ التدريب: معظم نماذج اللغة الكبيرة (مثل GPT) هي محولات ذاتية الانحدار (autoregressive transformers)، مدربة على التنبؤ بالرمز (token) التالي. هدفها هو تعظيم معقولية النص، وليس التحقق من صحة الادعاءات[2]. لا يميز النموذج بين الحقائق والخيال في بيانات التدريب، حيث يرى كل شيء كأنماط نصية[2].
  • جودة بيانات التدريب: يتم تدريب نماذج اللغة الكبيرة على مجموعات ضخمة من النصوص من الإنترنت، والتي تحتوي على العديد من الأخطاء والأساطير والمعلومات القديمة[1]. يحفظ النموذج هذه الأخطاء ويعيد إنتاجها. كما أن knowledge cutoff (نقطة التوقف المعرفي) مهم، وهو الحد الزمني الذي يمتلك النموذج معلومات حتى تاريخه.
  • طريقة توليد النص: تسمح الطبيعة العشوائية للتوليد (أخذ العينات مع درجة حرارة) للنموذج بإنشاء إجابات أكثر «إبداعًا» ولكنها أقل دقة. يمكن أن يؤدي طول السياق المحدود إلى «نسيان» النموذج للتفاصيل المبكرة في الحوار والبدء في التناقض مع نفسه[6].

طرق التقييم والقياس

للكشف عن الهلوسة وقياسها، تُستخدم مقاييس آلية وتقييم بشري ومعايير تقييم متخصصة.

  • المقاييس الآلية: تشمل الأساليب التي يعمل فيها نموذج لغة كبير آخر كـ«حكم» (LLM-as-a-judge) لتقييم صحة الإجابة[9]، أو تحليل الإنتروبيا (عدم اليقين) لدى النموذج أثناء التوليد[10].
  • التعليق البشري (Human annotation): يعتبر «المعيار الذهبي». يقوم الخبراء أو المقيّمون الجماعيون بتقييم الإجابات يدويًا، وتحديد الأخطاء. تُستخدم هذه الطريقة عند تدريب النماذج باستخدام RLHF[11].
  • معايير التقييم واختبارات الإجهاد: تم إنشاء مجموعات بيانات خاصة، مثل TruthfulQA، التي تحتوي على أسئلة تحفز النموذج على إعادة إنتاج الأساطير الشائعة[12]. توجد أيضًا لوحات صدارة، مثل Hugging Face Hallucination Leaderboard، حيث تتم مقارنة النماذج بناءً على مستوى الهلوسة[13].

طرق التخفيف والمنع

  • التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG): الأسلوب الأكثر نجاحًا، حيث «يربط» النموذج بالمعرفة الخارجية. قبل توليد الإجابة، يتلقى النموذج معلومات ذات صلة من قاعدة بيانات أو محرك بحث أو API. يتيح ذلك للنموذج بناء إجابته على بيانات موثوقة بدلاً من التخمينات[2].
  • سلسلة الفكر (Chain-of-Thought) والتحقق الذاتي (Self-Verification): يقوم النموذج أولاً بتوليد استدلال خطوة بخطوة قبل تقديم الإجابة النهائية، مما يزيد من الدقة. في الطرق الأكثر تقدمًا، مثل Self-Verification، يولد النموذج إجابة أولية، ثم يُطلب منه التحقق منها وتصحيحها[14].
  • القواعد والفلاتر المدمجة: يتم تدريب النماذج على رفض الإجابة إذا لم تكن متأكدة. على سبيل المثال، تتبع نماذج Claude من Anthropic مبدأ «الصدق» وغالبًا ما تجيب بـ«لا أعرف على وجه اليقين...» بدلاً من اختلاق الحقائق[11].
  • التكامل مع الأدوات الخارجية: يمكن لنماذج مثل Gemini التعرف تلقائيًا على حاجتها إلى أداة خارجية (مثل آلة حاسبة للحسابات أو البحث عن أخبار حديثة) واستخدامها، مما يقلل بشكل كبير من عدد حالات الهلوسة[11].

المخاطر والعواقب

  • المخاطر القانونية والمتعلقة بالسمعة: في المجال القانوني، يمكن أن تكون للهلوسة عواقب وخيمة. اكتسبت قضية Mata v. Avianca (2023) شهرة واسعة، حيث استخدم محامٍ ChatGPT للبحث عن سوابق قضائية، فاختلق النموذج عدة قضايا غير موجودة. تم تغريم المحامين، وأصبحت الحادثة درسًا حول عدم جواز الثقة في الذكاء الاصطناعي دون تحقق[1].
  • نشر المعلومات المضللة: على مستوى المجتمع، يمكن لنماذج اللغة الكبيرة أن تفاقم مشكلة الأخبار الزائفة. ومن الحالات المعروفة نموذج Galactica من Meta، الذي تم إنشاؤه لمساعدة العلماء، لكنه بدأ في توليد نصوص علمية زائفة مع تجارب ومراجع مختلقة. بعد ثلاثة أيام، تم إغلاق الوصول العام إلى النموذج[15].
  • اتخاذ قرارات خاطئة: يميل المستخدمون، خاصة غير الخبراء، إلى الثقة في الإجابات المصاغة بثقة من الذكاء الاصطناعي، مما قد يؤدي إلى اتخاذ قرارات غير صحيحة في مجالات المال والطب وغيرها من المجالات الحيوية[7].

أمثلة من الواقع العملي

  • قضية Air Canada (2023): اخترع روبوت الدردشة التابع لشركة الطيران سياسة غير موجودة لاسترداد التذاكر. عندما طالب العميل بتطبيقها، رفضت الشركة. ألزم مجلس النقل الكندي شركة Air Canada بالمسؤولية عن المعلومات التي قدمها روبوت الدردشة الخاص بها وتعويض العميل عن الخسائر[9].
  • دعوى تشهير ضد OpenAI (2023): رفع المذيع الإذاعي مارك والترز دعوى قضائية ضد OpenAI لأن ChatGPT اتهمه زورًا بالاحتيال في رد على استفسار من صحفي. أبرزت هذه القضية المسؤولية القانونية للشركات عن المحتوى الذي تولده نماذجها[6].

روابط خارجية

مراجع أكاديمية

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O’Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

ملاحظات

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [١]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [٢]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [٣]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [مصدر غير مذكور في النص].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [مصدر غير مذكور في النص].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [٤]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [٥]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [٦]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [٧]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [٨]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [٩]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [١٠]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [١١]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [١٢]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [١٣]
Retrieved from "https://systems-analysis.ru/int/index.php?title=LLM_hallucinations_—_الهلوسة_والإجابات_غير_الصحيحة_لنماذج_اللغة_الكبيرة_(LLM)&oldid=8580"