Explainable AI — בינה מלאכותית מוסברת
בינה מלאכותית מוסברת (Explainable AI, XAI) — היא תחום מחקר וקבוצת שיטות בתחום הבינה המלאכותית, המאפשרות להפוך את ההחלטות והתנהגות של מודלים של Machine Learning למובנות לאדם[1]. המטרה המרכזית של XAI היא להפוך מודלים מורכבים ואטומים, המכונים לעתים קרובות «קופסאות שחורות», ל«שקופים» או «קופסאות זכוכית», המסוגלים להסביר כיצד הם מגיעים להחלטותיהם.
הצורך בהסברתיות גדל בחדות עם התפתחות מודלים מורכבים, ובמיוחד Large Language Models (LLM), אשר למרות דיוקם הגבוה, מנגנוניהם הפנימיים אינם ברורים למפתחים ולמשתמשים. היעדר שקיפות טומן בחובו סיכונים, שכן המודל עשוי לבצע שגיאות נסתרות, להפגין הטיה או לייצר מידע בלתי מהימן, שסיבותיו אינן ניתנות להבנה ללא הסברים מתאימים[2].
משמעות והכרח XAI
הצורך ב-XAI מוכר הן על ידי הקהילה המדעית והן על ידי הרגולטורים. פיתוח XAI הוא קריטי להבנת ההתנהגות, המגבלות וההשלכות החברתיות של מערכות AI מורכבות.
- אמון וקבלת הטכנולוגיה. משתמשים, ובמיוחד בתחומים קריטיים כגון רפואה ופיננסים, נוטים לסמוך על מערכות המסוגלות לנמק את מסקנותיהן. הסברים מגבירים את השקיפות ואת הביטחון בכך שהמודל פועל בצורה נכונה ואתית[3].
- זיהוי והפחתת הטיה. הסברתיות מסייעת לגלות האם המודל מסתמך על מתאמים בלתי רצויים או בלתי אתיים בנתונים (לדוגמה, הקשורים לגזע, מגדר או גיל). הדבר מאפשר למפתחים לזהות ולתקן הטיה אלגוריתמית[1].
- אמינות ועמידות. פרשנות מסייעת לזהות פגיעויות של המודל, כולל לתקיפות יריבות (adversarial attacks), ולהגביר את עמידותו בפני שינויים קטנים בנתוני הקלט.
- עמידה בדרישות רגולטוריות. חקיקה כגון GDPR באיחוד האירופי מעגנת את זכות האדם לקבל הסבר על החלטות שהתקבלו על ידי מערכות אוטומטיות. תוכנית XAI של DARPA (סוכנות פרויקטי המחקר המתקדמים של משרד ההגנה האמריקאי), שהושקה בשנת 2017, כוונה אף היא ליצירת מערכות AI המסוגלות לספק למשתמשים הסברים ניתנים לפרשנות[4].
גישות להסברתיות של מודלים
ניתן לחלק את שיטות XAI באופן כללי לשתי קטגוריות עיקריות: מודלים פרשנותיים, השקופים «מעצם עיצובם», ושיטות פוסט-פקטום, המסבירות מודלים מסוג «קופסה שחורה» לאחר אימונם.
מודלים פרשנותיים («קופסאות שקופות»)
אלה אלגוריתמים שמבנם הפנימי פשוט ומובן לאדם מטבעו. הם כוללים:
- רגרסיה לינארית
- רגרסיה לוגיסטית
- עצי החלטה בעלי עומק קטן
- מודלים מבוססי כללים (Rule-based systems)
מודלים אלה קלים לפרשנות, אך לעתים קרובות הם נופלים בדיוקם מול מודלים מורכבים יותר (לדוגמה, רשתות נוירונים עמוקות) על נתונים מורכבים. קיים פשרה בין דיוק לפרשנות[1].
שיטות הסבר פוסט-פקטום («קופסאות שחורות»)
שיטות אלה מיושמות על מודלים מורכבים שכבר אומנו, מבלי לשנות את מבנם הפנימי. הן יוצרות מידע נוסף המסייע להבין את ההיגיון שמאחורי התחזיות. הסברים פוסט-פקטום מתחלקים לסקאליים ולגלובליים.
הסברים מקומיים
שיטות מקומיות מסבירות תחזית בודדת של המודל עבור דוגמת קלט ספציפית.
- LIME (Local Interpretable Model-agnostic Explanations): אחת השיטות הפופולריות ביותר. LIME בונה מודל סרוגט פשוט וניתן לפרשנות (לדוגמה, רגרסיה לינארית) בסביבה המקומית של תחזית ספציפית, תוך קירוב ההתנהגות של מודל «הקופסה השחורה» המורכב[1].
- SHAP (SHapley Additive exPlanations): מבוסס על ערכי Shapley מתורת המשחקים הקואופרטיבית. SHAP מחשב את תרומתו של כל מאפיין לתחזית הסופית, תוך חלוקה הוגנת של ה«רווח» (ההפרש בין התחזית לערך הממוצע) בין המאפיינים. שיטה זו מספקת הסברים מנומקים תיאורטית ועקביים[5].
- הסברים נגדיים-עובדתיים: מייצרים תרחישים מסוג «מה אם?». הם מראים אילו שינויים מינימליים בנתוני הקלט היו מביאים לתוצאה אחרת (לדוגמה, «הלוואתך הייתה מאושרת אילו הכנסתך השנתית הייתה גבוהה ב-$5,000»)[1].
הסברים גלובליים
שיטות גלובליות נועדו להסביר את ההיגיון הכולל של המודל או את הידע שלו בכללותו. הן כוללות ניתוח חשיבות מאפיינים על פני כלל מערך הנתונים, כמו גם ויזואליזציה של הייצוגים הפנימיים של המודל.
הסברתיות עבור Large Language Models (LLM)
מודלים שפתיים גדולים מציבים אתגר מיוחד ובו בזמן הזדמנויות חדשות עבור XAI. גודלם העצום ומורכבותם מקשים על יישום שיטות מסורתיות, אך יכולתם לעבוד עם שפה טבעית פותחת דרכים חדשות להסבר.
ניתוח מנגנוני קשב (Attention Visualization)
מנגנון ה-self-attention בארכיטקטורת Transformer מאפשר לדמות אילו חלקים של טקסט הקלט (tokens) המודל «שם לב אליהם» בעת יצירת התגובה. אף שהדבר מספק תחושה אינטואיטיבית לגבי אופן פעולת המודל, מתנהל בקהילה המדעית דיון בשאלה האם קשב הוא הסבר מלא, שכן חשיבות גבוהה לפי משקלי attention לא תמיד מצביעה על קשר סיבתי[6].
פרשנות מכניסטית
הרמה העמוקה ביותר של הסברתיות, המכוונת להנדסה הפוכה מלאה של פעולת הרשת הנוירונית. חוקרים מנסים לזהות ולהבין «מעגלים» (circuits) ספציפיים — קבוצות של נוירונים וקשריהם, המממשים פונקציות אלגוריתמיות מסוימות (לדוגמה, זיהוי מבנה תחבירי או חיפוש עובדה)[7].
הסבר באמצעות שפה טבעית
יכולת ייחודית של LLM היא הסברת עצמם. באמצעות טכניקות prompting כגון Chain-of-Thought, ניתן לגרום למודל לייצר נימוקים שלב-אחר-שלב שהובילו למסקנתו. הדבר הופך את תהליך קבלת ההחלטות לשקוף עבור המשתמש. אולם הסברים כאלה עשויים להיות בלתי מהימנים (unfaithful) — המודל עשוי לייצר נימוק משכנע אך שגוי, שאינו משקף את תהליכו הפנימי האמיתי[8].
קישורים
- דף הבית הרשמי של תוכנית DARPA XAI
- סקירת Explainable AI מאת IBM
הערות
- ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
- ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
- ↑ «What is Explainable AI (XAI)?». IBM. [3]
- ↑ «Explainable Artificial Intelligence». DARPA. [4]
- ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
- ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
- ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
- ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]