LLM error mitigation — הפחתת שגיאות LLM

הפחתת שגיאות במודלי שפה גדולים (LLM) — היא מכלול של שיטות וטכנולוגיות שמטרתן שיפור הדיוק, האמינות והבטיחות של מערכות בינה מלאכותית המבוססות על ארכיטקטורת transformer. בעיית השגיאות, ובפרט הזיות, מהווה אחד המחסומים המרכזיים לאימוץ נרחב של LLM בתחומים קריטיים. על פי נתוני מחקרים מ-2024–2025, שכיחות ההזיות ב-LLM הנגישים לציבור נעה בין 3% ל-16%.

טיפולוגיה של שגיאות

הסיווג המודרני של שגיאות LLM כולל מספר קטגוריות עיקריות, שכל אחת מהן מחייבת גישות ספציפיות למיטיגציה (הפחתת השלכות).

הזיות

הזיות הן יצירת תוכן סביר לכאורה אך שגוי מבחינה עובדתית. על פי מחקרו של Huang ואחרים (2023), מזהים שני סוגים עיקריים:

• הזיות עובדתיות — סטייה מעובדות הניתנות לאימות, לרבות יצירת עובדות בדויות (fabrication). במחקר משנת 2024, אוניברסיטת Stanford גילתה כי LLM המציאו למעלה מ-120 תיקי משפט שאינם קיימים.
• הזיות לוגיות — הפרת הרצף הלוגי בתהליך ההיסק.

נתוני 2024 מראים כי צ'אטבוטים מזים ב-27% מהמקרים, כאשר 46% מהטקסטים שנוצרו מכילים שגיאות עובדתיות.

הטיות שיטתיות (Bias)

הטיות ב-LLM מתבטאות בדעות קדומות חברתיות (למשל, שיוך מקצועות למגדר מסוים) ובפערים דמוגרפיים בביצועים. מחקרים משנת 2024 הראו כי מבין 10 מודלים שנבדקו, ההפרש בציונים בין קבוצות דמוגרפיות שונות יכול להגיע ל-4 נקודות מתוך 10.

רעילות

רעילות מוגדרת כיצירת תוכן פוגעני, מזיק או מפלה. מדד הרעילות משתנה בטווח רחב בהתאם למודל ולהקשר השימוש.

שיטות להפחתת שגיאות

ניתן לחלק את האסטרטגיות למאבק בשגיאות לשתי קבוצות גדולות: שיטות המשנות את המודל ותהליך האימון, ושיטות המיושמות בשלב ה-inference (הסקה).

שינוי המודל ותהליך האימון

Fine-tuning ו-Instruction Tuning

Supervised Fine-Tuning (SFT) מאפשר התאמת מודלים מאומנים מראש למשימות ספציפיות. להפחתת עלויות החישוב משתמשים בשיטות Parameter-Efficient Fine-Tuning (PEFT), כגון LoRA ו-QLoRA, אשר יכולות לצמצם את עלויות ה-fine-tuning בעד 99% תוך שמירה על יעילות.

למידה מחיזוקים על בסיס משוב אנושי (RLHF)

RLHF הוא תהליך דו-שלבי שבו תחילה מאמנים מודל תגמול על בסיס העדפות אנושיות, ולאחר מכן ה-LLM הראשי מותאם לייצר תגובות המקסמות את התגמול הזה. השיטה הוכיחה את יעילותה במודלים InstructGPT ו-GPT-4, ושיפרה משמעותית את ההתאמה לציפיות המשתמשים.

Constitutional AI

פותח על ידי חברת Anthropic, השיטה Constitutional AI מהווה חלופה ל-RLHF. במקום משוב אנושי ישיר, המודל מאומן לפעול לפי מערכת עקרונות ("חוקה"). זאת מפחיתה את הצורך בפיקוח אנושי ב-80–90% ומונעת ביעילות יצירת תוכן מזיק.

פתרונות ארכיטקטוניים

• Mixture of Experts (MoE): ארכיטקטורה עם הפעלה דלילה, המאפשרת הגדלה משמעותית של קיבולת המודל ללא עלייה פרופורציונלית בעלויות החישוב. ההנחה היא כי GPT-4 משתמש ב-8 מומחים עם 220 מיליארד פרמטרים כל אחד.
• שינויים במנגנון ה-attention: טכניקות כגון Grouped Query Attention (GQA) (במודלי Llama 3) ו-Sparse Attention מפחיתות את מורכבות החישוב ואת דרישות הזיכרון, ומאפשרות עיבוד של הקשרים ארוכים יותר.

שיטות בשלב ה-inference

Retrieval-Augmented Generation (RAG)

RAG הוא אחת השיטות היעילות ביותר להפחתת שגיאות עובדתיות. לפני יצירת התגובה, המערכת פונה למאגר ידע חיצוני (למשל, ויקיפדיה, תיעוד ארגוני, מאמרים מדעיים), מחלצת מידע רלוונטי ומעבירה אותו למודל יחד עם הבקשה המקורית. זה "מעגן" את התגובה בעובדות מאומתות. מערכות RAG משיגות 56.8% exact match על ה-benchmark TriviaQA ועולות על מודלים מסורתיים ב-60–80% בהפחתת שגיאות עובדתיות.

טכניקות prompting מתקדמות

• Chain-of-Thought (CoT): prompting המעודד את המודל לייצר שרשרת היסק שלב-אחר-שלב לפני מתן התשובה הסופית. זה משפר משמעותית את התוצאות במשימות הדורשות חישובים לוגיים ומתמטיים.
• Chain of Draft (CoD): התפתחות של CoT, שבה המודל עורך באופן איטרטיבי טיוטות של תגובתו, מה שמאפשר להשיג דיוק דומה ל-CoT תוך שימוש בכמות קטנה משמעותית של tokens.

תיקון עצמי פנימי (Intrinsic Self-Correction)

מחקרי TACL משנת 2024 הראו כי יכולת ה-LLM לתיקון עצמי ללא מידע חיצוני מוגבלת. תיקון עצמי יעיל דורש בדרך כלל שימוש בכלים חיצוניים, כגון מפרשי קוד לאימות חישובים או מנועי חיפוש לאימות עובדות.

שיטות הערכת שגיאות

למדידת ההתקדמות בהפחתת שגיאות משתמשים במדדים ו-benchmarks מיוחדים.

• מדדים מסורתיים: Perplexity, BLEU ו-ROUGE. הם שימושיים להערכת שטף והתאמת n-gram, אך מתמודדים בקושי עם הערכת דיוק עובדתי.
• גישות מודרניות:
  • FactScore מפרק טקסטים ארוכים לעובדות אטומיות ומעריך את אחוז העובדות המאושרות על ידי מאגר הידע.
  • SAFE (Search-Augmented Factuality Evaluator) — שיטה של Google המשתמשת בחיפוש לאימות עובדות ומשיגה 72% הסכמה עם הערכות אנושיות, תוך עבודה בעלות נמוכה פי 20.
  • TruthfulQA — benchmark המתמקד ביכולת המודלים להימנע מיצירת אמונות שגויות נפוצות.

ספרות

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.