LLM-as-a-Judge — LLM كقاضٍ

LLM-as-a-Judge (أو LLM كقاضٍ) هو نهج في تعلم الآلة، يُستخدم فيه نموذج لغوي كبير (LLM) لـتقييم جودة النص الذي تم إنشاؤه بواسطة نموذج ذكاء اصطناعي آخر، وفقًا لمعايير محددة. تقوم الفكرة على أن يعمل الذكاء الاصطناعي نفسه بدور "القاضي" الذي يقيّم الإجابات بناءً على معايير معينة.

أصبح هذا الأسلوب شائعًا منذ عام 2023 كبديل عملي للتقييم اليدوي المكلف لمهام إنشاء النصوص المفتوحة. فالمقاييس التقليدية (مثل BLEU أو ROUGE) غير مناسبة تمامًا للإجابات النصية الحرة، كما أن إشراك مقيّمين بشريين في المهام واسعة النطاق أمر غير ممكن عمليًا. يحل نهج LLM-as-a-Judge هذه المشكلة: فبدلًا من الإنسان، يقوم النموذج اللغوي نفسه بتقييم جودة النص، عبر تلقي الإجابة المراد فحصها وموجه (prompt) يحتوي على تعليمات ومعايير التقييم.

أساليب التقييم باستخدام LLM

يُطبّق نهج LLM-as-a-Judge في سيناريوهات وأشكال تقييم مختلفة.

• المقارنة المزدوجة (pairwise comparison): هذا هو الأسلوب الأكثر شيوعًا. يتلقى النموذج القاضي إجابتين (الإجابة أ، الإجابة ب) لنفس الطلب، ويجب عليه تحديد أيهما أفضل بناءً على معايير محددة، أو إعلان التعادل.
• التقييم المباشر حسب المعايير: يقوم مقيّم LLM بمراجعة إجابة واحدة تم إنشاؤها ويمنحها درجة على مقياس رقمي (على سبيل المثال، من 1 إلى 10) بناءً على خاصية معينة (مثل "الدقة"، "وضوح العرض"، "التهذيب").
• التقييم مع الأخذ في الاعتبار المعلومات المرجعية: يُضاف إلى موجه النموذج القاضي السياق الأصلي أو الإجابة الصحيحة "الذهبية"، ويُطلب منه التحقق من مدى تطابق النص الذي تم إنشاؤه، وذلك للكشف عن الهلوسات على سبيل المثال.

الكفاءة والمقارنة مع التقييم البشري

للتحقق من جودة نهج LLM-as-a-Judge نفسه، تتم مقارنة أحكامه بتقييمات الخبراء البشريين. أُجري التحليل الأكثر شمولاً لهذا الأسلوب من قبل مجموعة LMSYS من جامعة كاليفورنيا في بيركلي في عام 2023 في ورقتهم البحثية "Judging LLM-as-a-Judge". قارن المؤلفون بشكل منهجي قرارات نموذج GPT-4 (كقاضٍ) بتفضيلات البشر على عينة كبيرة من المهام الحوارية من مقياس الأداء MT-Bench.

الاستنتاج الرئيسي للدراسة هو أن نماذج LLM القوية (مثل GPT-4) عندما تعمل كقاضٍ أظهرت توافقًا بنسبة ~80% مع التقييمات البشرية، وهو ما يمكن مقارنته بمستوى الاتفاق بين البشر أنفسهم. بمعنى آخر، في الحالات التي اتفق فيها خبيران بشريان، اتخذ النموذج القاضي GPT-4 نفس القرار في 80% من الحالات. هذه النتيجة رفعت تقييم LLM فعليًا إلى مستوى المعيار "البشري" من حيث الاتساق وأثبتت جدواه العملية للتقييمات واسعة النطاق.

مزايا النهج

يتمتع أسلوب LLM-as-a-Judge بعدد من المزايا المهمة مقارنة بالأساليب التقليدية.

• القابلية للمقارنة مع الإنسان: عند الإعداد الصحيح، يقدم تقييم LLM نتائج قريبة من خبرة الإنسان، مما يجعله بديلاً موثوقًا.
• قابلية التوسع والسرعة: يمكن لقاضٍ LLM واحد مٌعدّ بشكل صحيح تقييم آلاف الإجابات على مدار الساعة، مع تقديم النتائج بشكل فوري تقريبًا، وهو أسرع وأقل تكلفة بكثير من التصنيف البشري.
• المرونة وقابلية التخصيص: يمكن تدريب LLM على تقييم أي جانب من جوانب النص تقريبًا - من الدقة الواقعية إلى الصبغة العاطفية - ببساطة عن طريق تغيير الوصف النصي للمعايير في الموجه.
• عدم الاعتماد على مرجع: على عكس المقاييس مثل ROUGE أو BLEU، لا يتطلب مقيّم LLM "إجابة صحيحة" محددة مسبقًا للمقارنة. يمكنه العمل بدون مرجع، وهو أمر قيم للمهام الحوارية المفتوحة.
• قابلية التفسير: يمكن طلب شرح للقرار من النموذج القاضي في شكل نص، مما يوفر شفافية أكبر مقارنة بـ"الصندوق الأسود" للمقاييس التلقائية.

قيود النهج ومشكلاته

على الرغم من نجاحاته، فإن لنهج LLM-as-a-Judge عيوبًا أيضًا.

• الموثوقية غير الكاملة: تقييمات LLM عالية الجودة، لكنها ليست مثالية. إذا كانت التعليمات غير واضحة بما فيه الكفاية أو واجه النموذج حالة غير متوقعة، فقد يكون حكمه خاطئًا أو غير متسق.
• خطر الانحياز والتحيز (bias):
  • التحيز الموضعي (Positional effect): قد تفضل النموذج دون وعي الإجابة التي تظهر أولاً أو أخيرًا في القائمة.
  • التحيز نحو الإطناب (Verbosity bias): يميل النموذج إلى اعتبار الإجابة الأطول والأكثر تفصيلاً هي الأفضل، حتى لو كانت تكرر المعلومات فقط.
  • التحيز لتعزيز الذات (Self-enhancement bias): قد يمنح النموذج القاضي درجات أعلى للإجابات التي تم إنشاؤها بواسطته أو بواسطة نموذج من نفس العائلة (على سبيل المثال، سيقيّم GPT-4 إجابات GPT-3.5 بدرجة أعلى).

• صعوبات في تقييم الحقائق والمنطق: يقيّم قاضي LLM أحيانًا المهام الرياضية أو المنطقية بشكل غير صحيح، حتى لو كان قادرًا على حلها بنفسه. يحدث هذا عندما "تنتقل عدوى" الخطأ إلى النموذج من الحلول المقترحة، فلا يتعامل مع المهمة بموضوعية.
• خصوصية البيانات وأمنها: استخدام واجهات برمجة التطبيقات (API) التابعة لجهات خارجية (مثل GPT-4) للتقييم يعني إرسال نصوص حساسة إلى مزود خارجي، مما ينطوي على مخاطر تسريب البيانات.

للتخفيف من هذه المشكلات، يستخدم المطورون تقنيات مختلفة: الترتيب العشوائي للإجابات، والمعايرة على مجموعات بيانات بمشاركة بشرية، بالإضافة إلى استخدام استراتيجيات هجينة حيث يتم تطبيق قاضي LLM مع أساليب أخرى.

النهج البديلة والهجينة

غالبًا ما يُستخدم نهج LLM-as-a-Judge بالاشتراك مع أساليب تقييم أخرى.

• التقييم البشري: يظل هو "المعيار الذهبي" ويُستخدم للمعايرة والتحقق الدوري من قضاة LLM.
• المقاييس التلقائية: لا تزال المقاييس الكلاسيكية (ROUGE، BLEU، BERTScore) مفيدة للمهام التي لها إجابة مرجعية واضحة.
• نماذج التقييم المتخصصة: تدريب نماذج صغيرة وسريعة ومنخفضة التكلفة على بيانات التفضيلات لأداء التقييمات الروتينية، بينما يعمل قاضي LLM القوي كـ "حكم أعلى" للحالات المعقدة (نهج trust or escalate).

روابط

• مقال "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" من LMSYS
• دليل مفصل لاستخدام LLM-as-a-Judge من Evidently AI

المراجع

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.