Large language model architectures — ארכיטקטורות LLM

ארכיטקטורות של מודלי שפה גדולים (LLM) — הם עקרונות ומבנים יסודיים הקובעים כיצד מודלי שפה גדולים נבנים, מאומנים ופועלים. מודלי LLM מודרניים, המסוגלים להבין ולייצר שפה אנושית, מבוססים כמעט כולם על ארכיטקטורת ה-Transformer, אך כוללים שיפורים רבים וגישות שונות שמטרתן להגביר יעילות, יכולת הרחבה ויכולות כלליות.

משפחות ארכיטקטורות LLM (טרנספורמרים)

מודלי שפה גדולים מודרניים מבוססים על ארכיטקטורת הטרנספורמר, אך משתמשים בה בדרכים שונות בהתאם למטרה: הבנת טקסט, יצירת המשך או המרת טקסט אחד לאחר. בפועל מבחינים בשלוש משפחות תוך שמירה על עקרונות הטרנספורמר הבסיסיים.

1. Encoder‑only (מקודד בלבד)

המודל משתמש אך ורק בערימת מקודדים ובוחן את כל טקסט הקלט בצורה דו-כיוונית. האימון המקדים בנוי בדרך כלל כ-masked‑language modeling (MLM, מודלינג שפה עם הסתרה): חלק מה-tokenים מוסתרים והמודל לומד לשחזרם מהסביבה. בזכות ההקשר הדו-כיווני, מודלים אלו חזקים במשימות הבנה וניקוד: סיווג, זיהוי ישויות, דירוג-מחדש של מסמכים ו-QA מחלצני. הם אינם מיועדים לייצור אוטו-רגרסיבי מאפס.

בנוסף, בפועל נעשה שימוש גם ביעדי אימון מקדים חלופיים עבור משפחת encoder‑only: replaced token detection (RTD) ב-ELECTRA (מודל הדיסקרימינטור מזהה tokenים שהוחלפו) ו-אימון קונטרסטיבי של bi‑encoderים לחיפוש סמנטי/ריטריבל (InfoNCE/softmax‑loss על זוגות "שאילתה-מסמך", כמו ב-Dense Passage Retrieval). בשימוש ב-RAG, encoder‑only משמש כ-bi‑encoder (קידוד נפרד של שאילתה ומסמך לחיפוש ANN מהיר), או כ-cross‑encoder (קידוד משותף של הזוג לדירוג-מחדש מדויק).

יתרונות:

• איכות הבנת טקסט גבוהה בזכות הקשר דו-כיווני: סיווג, NER, חילוץ עובדות, דירוג-מחדש, QA מחלצני.
• עיבוד מקבילי ותפוקה גבוהה: מעבר קדימה אחד ללא אוטו-רגרסיה; נוח לעיבוד ניקוד קבוצתי בכמות גדולה.
• שילוב טבעי עם חיפוש ו-RAG: בתפקיד bi‑encoder — חיפוש סמנטי מהיר; בתפקיד cross‑encoder — דירוג-מחדש מדויק.
• הסתגלות יעילה: גרסאות קומפקטיות יחסית (≈100–300 מיליון פרמטרים; BERT‑base ≈110 מיליון) מניבות איכות גבוהה לאחר fine-tuning ממוקד.
• זמן אחזור יציב שאינו תלוי באורך התשובה המיוצרת (אין פענוח צעד-אחר-צעד); מתאים היטב לניקוד אופליין של אוספים גדולים.
• אפשרות הרחבת חלון ההקשר של encoderים באמצעות מיקומים יחסיים/רוטציוניים ו/או attention מקומי-דליל (למשל, Longformer/BigBird), שימושי למסמכים ארוכים.

חסרונות:

• אין יכולות ייצור עצמאיות: לדיאלוגים ותשובות מפורטות נדרש decoder או מודול ייצור חיצוני.
• מוגבלות בתרחישים אינטראקטיביים: אין ייצור שלב-אחר-שלב עם שמירת מצב.
• אי-התאמה בין יעד האימון המקדים למשימות ייצור חופשי: MLM מתיישב פחות טוב עם ייצור בהשוואה למודלינג סיבתי.
• חלון הקשר היסטורית מוגבל (לעיתים 512 tokenים בתצורות בסיסיות של מיקומים מוחלטים); הרחבה דורשת סכמות מיקום/attention מיוחדות ו/או fine-tuning.
• למשימות ריטריבל נדרש fine-tuning קונטרסטיבי נפרד של bi‑encoder ו/או cross‑encoder; ללא זה איכות החיפוש/דירוג-מחדש בדרך כלל נמוכה ממודלים שאומנו לצורך זה.

מודלים מייצגים: BERT ונגזרותיו, וכן RoBERTa ו-DeBERTa (גרסאות מורחבות של encoder‑only); מיעדי אימון מקדים חלופיים — ELECTRA (RTD).

2. Decoder‑only (מפענח בלבד)

נעשה שימוש רק בערימת מפענחים עם attention סיבתי (שמאלי): המודל מנבא את ה-token הבא על סמך הקידומת הנתונה. מצב אימון זה — causal language modeling (CLM) — הופך מודלים אלו לבחירה הטבעית לייצור: דיאלוגים, תשובות מפורטות, טקסט יצירתי, קוד תוכנה. הפשרה היא עלייה בזמן האחזור ובנפח ה-KV‑cache בפרומפטים ארוכים. בפועל נפוצות לdecoder‑only טכניקות הנדסיות: הקטנת KV‑cache באמצעות MQA ו-GQA, האצת הסקה באמצעות speculative decoding ואופטימיזציות שרת (PagedAttention/vLLM, continuous batching, chunked prefill).

יתרונות:

• ייצור טקסט טבעי (CLM): יכולות zero‑shot ו-few‑shot חזקות; מתרחב היטב.
• רב-תכליתיות: מודל אחד פותר משימות רבות באמצעות הוראות ודוגמאות בפרומפט; משתלב באופן טבעי עם RAG וקריאת כלים (tool use).
• מערכת אקולוגית בשלה: שיטות fine-tuning להוראות ויישור התנהגות (RLHF, DPO); זמינות מימושים פתוחים ומסחריים.
• מחסנית עשירה של אופטימיזציות הסקה: MQA/GQA מקטינים את נפח ה-KV‑cache ומגדילים תפוקה; speculative decoding מאיץ הסקה ללא שינוי ההתפלגות; PagedAttention/vLLM עם continuous batching ו-chunked prefill משפרים את ניצול ה-GPU מקצה לקצה.
• תמיכה בייצור מובנה לפורמטי תשובות מחמירים (JSON/SQL/DSL), המפשטת שילוב עם מערכות מידע ו-APIים.

חסרונות:

• זמן אחזור ייצור מוגבר: הסקה סדרתית; עלות token חדש גדלה עם אורך ההקשר שכבר "נקרא" (KV‑cache).
• פחות יעיל בפרופיל "כניסה ארוכה – יציאה קצרה" (סיכום, תרגום) בהשוואה ל-encoder–decoder, שם הכניסה מקודדת פעם אחת.
• מגבלת הקשר חד-כיווני: במשימות הבנה מפסיד לעיתים למודלים עם ייצוג דו-כיווני (encoder‑only / encoder–decoder).
• זיכרון ה-KV‑cache עלול להיות "צוואר בקבוק" בפרומפטים ארוכים ובאצוות גדולות;
• כימות של הפעלות/KV (INT8/FP8) מאיץ הסקה אך עלול לפגוע באיכות בהקשרים ארוכים/קוד; דורש אימות קפדני (במיוחד ב-SLA מחמירים).

מודלים מייצגים: GPT‑3, GPT‑4 (פרטי הארכיטקטורה וסט הנתונים לא נחשפו פומבית), LLaMA ו-Llama 3 (8B/70B, 2024).

3. Encoder–decoder (מקודד–מפענח)

הארכיטקטורה משלבת את שני הרכיבים. המקודד פועל במצב דו-כיווני והמפענח — באופן סיבתי. המקודד מנתח את הכניסה פעם אחת ויוצר את ייצוגה; המפענח מייצר את הפלט תוך פנייה לייצוג זה דרך cross‑attention. גישה מופרדת זו שימושית במיוחד כשנדרש להמיר טקסט כניסה ארוך לפלט קצר: תרגום מכונה, סיכום, תשובות המבוססות על מסמכים. אמנם השיטה דורשת עלויות חישוב מצטברות גבוהות יותר (שתי ערימות ו-cross‑attention), אך יתרונה הוא ייצור מבוקר המבוסס על ניתוח מלא של הטקסט המקורי; הקידוד מבוצע פעם אחת ומשמש שוב לאורך כל תהליך ההסקה.

יתרונות:

• ייצור מותנה: המפענח משתמש ב-cross‑attention לייצוג הכניסה.
• יעיל בתרחיש "כניסה ארוכה → יציאה קצרה": הכניסה מקודדת פעם אחת.
• נוח לפורמט "text‑to‑text" ולפלט מבוקר (קידומות משימה, הוראות מיוחדות).
• יציבות ויעילות עם מקור ארוך: בשלב הפענוח גדל רק ה-self‑attention על הפלט, ואילו ה-cross‑attention משתמש שוב במפתחות/ערכים הקבועים מהמקודד (הכניסה אינה "נקראת מחדש" בכל צעד).

חסרונות:

• שתי ערימות מגדילות את דרישות הזיכרון והחישוב באימון ובשימוש.
• ברצפים ארוכים במיוחד, זמן האחזור הכולל דומה ל-decoder‑only; האוטו-רגרסיה נותרת צוואר הבקבוק.
• פחות מודלי צ'אט אוניברסליים בהשוואה ל-decoder‑only; משמשים לרוב כמנוע seq2seq איכותי למשימות ספציפיות.
• בכניסה ארוכה מאוד גדל הזיכרון למפתחות/ערכי cross‑attention בכל שכבת מפענח (על כל המקור), הדורש תכנון הגשה (serving) זהיר.

מודלים מייצגים: T5 (כולל T5 v1.1 ופרקטיקת fine-tuning להוראות ב-FLAN‑T5) ו-BART.

טרנספורמרים צפופים (Dense Transformers)

הארכיטקטורה הקלאסית והנפוצה ביותר של LLM: בעיבוד כל token משתתפים כמעט כל פרמטרי המודל. בניגוד לגישות דלילות (למשל, Mixture‑of‑Experts), אין הפעלה סלקטיבית של תת-רשתות — כל בלוק פועל עבור כל token.

עקרון הפעולה והארכיטקטורה

מבנה בסיסי. המודל הוא ערימה של N בלוקי טרנספורמר זהים. כל בלוק כולל:

1. Multi‑Head Self‑Attention (תשומת לב עצמית רב-ראשית). עבור כל token מחושבים שלושה וקטורים: Q (query), K (key), V (value); תשומת הלב מוגדרת כ-$\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$, כאשר $M$ — מסכה (סיבתית ו/או מסכת ריפוד) המוציאה מחישוב מיקומים בלתי-תקפים. מספר "ראשי" תשומת לב מחשבים במקביל היבטים שונים של ההקשר (H ראשים, בדרך כלל $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); מספרם גדל עם קנה המידה של המודל.
2. רשת Feed‑Forward (FFN). שתי שכבות לינאריות עם אי-לינאריות ביניהן (בדרך כלל GELU/SiLU; בחלק מהמודלים המודרניים — SwiGLU). הממד הביניים בדרך כלל $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; בשימוש ב-SwiGLU לוקחים לעיתים $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ לשמירת מספר פרמטרים דומה. ה-FFN מכיל חלק ניכר מהפרמטרים.

רכיבים נוספים. נעשה שימוש בחיבורים שיורים (residual) ונירמול שכבות; במודלי LLM מודרניים נפוץ יותר Pre‑LN (נירמול לפני תת-בלוקים) — זה משפר יציבות אימון בעומקים גדולים. מלבד LayerNorm קלאסי, נעשה שימוש הולך וגובר ב-RMSNorm (מקטין עלויות חישוב ועובד היטב במודלים גדולים); בנוסף, בחלק ממשפחות המודלים נעשה שימוש בנירמול במרחב תשומת הלב (למשל, נירמול Q/K לפני softmax). ייצוגי המיקום יכולים להיות מוחלטים או יחסיים; לצורך הקשר ארוך RoPE הפך לסטנדרט דה-פקטו.

דוגמאות מודלים ועוצמה

• BERT‑Large: 24 שכבות, ממד 1024, 16 ראשי attention, ≈340 מיליון פרמטרים.
• GPT‑3 (175B): 96 שכבות, ממד 12288, 96 ראשי attention, ≈175 מיליארד פרמטרים.
• LLaMA‑65B: 80 שכבות, ממד 8192, 64 ראשי attention, ≈65 מיליארד פרמטרים.
• PaLM‑540B: 118 שכבות, ממד בסדר גודל של 18432, ≈540 מיליארד פרמטרים.

יתרונות

• בלוקים אחידים, משטרי אימון מוכרים היטב והתנהגות מדידה בהרחבה.
• האיכות משתפרת בחוק חזקה עם גידול הפרמטרים והנתונים; משטר compute‑optimal מניח הגדלה משותפת של גודל המודל ונפח tokenי האימון.
• אותה ארכיטקטורה לאחר fine-tuning מכסה מגוון רחב של משימות ללא שינויים ברמת השכבות.

חסרונות

• Self‑attention מלא בעל מורכבות ריבועית לפי אורך הרצף ($O(n^2)$), המגביל את חלון ההקשר.
• הפעלה מלאה של פרמטרים בצעד הייצור: במפענח ללא MoE עלות ההסקה לכל token גדלה בקירוב פרופורציונלית למספר הפרמטרים.
• צוואר בקבוק — רוחב פס זיכרון (memory‑bound): טעינת המשקלים מ-HBM מגבילה לעיתים קרובות את מהירות ההסקה.

מגבלות הרחבה והקשר

• זיכרון לפרמטרים גדל לינארית עם גודל המודל; זיכרון האימון גדל בשל גרדיאנטים ומצבי אופטימייזר.
• תצורות בסיסיות היסטורית הוגבלו ל-2–4 אלף tokenים. סכמות מיקום מודרניות (RoPE) וטכניקות הרחבה (Position Interpolation, YaRN ועוד) מאפשרות להגדיל את החלון בסדר גודל ויותר, אך במחיר עומס חישובי/זיכרון נוסף.

אופטימיזציות מודרניות

• FlashAttention. תשומת לב מדויקת תוך התחשבות בהיררכיית זיכרון ה-GPU; מקטינה עלויות זיכרון ומאיצה אימון/הסקה ברצפים ארוכים.
• הקטנה וניהול KV‑cache. Multi‑Query Attention ו-Grouped‑Query Attention מקטינים את נפח ה-cache ותעבורת הזיכרון; ברמת השרת, PagedAttention (vLLM) מגביר תפוקה באמצעות ניהול cache מבוסס עמודים.
• Speculative Decoding. מודל טיוטה (draft) מציע המשך, והמודל הראשי בודק אותו במהירות; מושגת האצה ללא שינוי התפלגות הפלט.

מודלים דלילים (Sparse Models) ו-Mixture‑of‑Experts (MoE)

MoE הוא שיטה להגדלת קיבולת המודל ללא גידול פרופורציונלי בחישובים לכל token. במקום בלוק FFN גדול אחד בשכבה, נעשה שימוש בקבוצת "מומחים" מקבילים (מספר FFNים עצמאיים), ורשת ניתוב (gating network) הניתנת ללמידה בוחרת לכל token את top‑k המומחים הרלוונטיים ביותר (בדרך כלל k=1–2; בחלק מהמודלים k=4). רק המומחים הנבחרים מופעלים; פלטיהם מוקצים משקל ומסוכמים. כך ניתן להגיע למאות מיליארדים ואף לטריליוני פרמטרים כולל, אך בכל צעד מופעל רק חלק קטן מהם.

דוגמאות מודלים ועוצמה

• Switch Transformer (Google): עד ~1.6T פרמטרים; ניתוב top‑1 (מומחה אחד לכל token). הדגים שMoE מאפשר לגדול בקיבולת בחדות עם עלויות דומות לכל token.
• GLaM (Google): 1.2T פרמטרים, 64 מומחים בשכבה, top‑2; לכל token מופעלים ≈96.6B פרמטרים (≈8%).
• Mixtral 8×7B (Mistral AI): ~46.7B פרמטרים סה"כ, ≈12.9B פעילים לכל token, top‑2.
• Mixtral 8×22B: ~141B פרמטרים סה"כ, ≈39B פעילים לכל token, top‑2.
• DBRX (Databricks): 132B פרמטרים סה"כ, ≈36B פעילים לכל token; 16 מומחים וניתוב top‑4 (fine‑grained MoE).

יתרונות

• עלות החישוב נקבעת לפי מספר המומחים הפעילים k, ולא לפי מספר הפרמטרים הכולל: ניתן לאמן ולהשתמש במודלים בקנה מידה של טריליונים בעלויות הדומות למודלים צפופים בגודל קטן משמעותית.
• התמחות: המומחים "מכוונים" אוטומטית לשפות/תחומים/דפוסים, משפרים את האיכות במשימות רב-תחומיות.
• פריסה גמישה: ניתן להחזיק בזיכרון מומחים בשימוש תכוף ולטעון נדירים (עם תשתית מתאימה).

מגבלות

• איזון עומס: ללא רגולריזציה, רשת הניתוב עלולה "להיתקע" על חלק מהמומחים (router collapse). נדרשות auxiliary losses (load‑balancing) וסכמות ניתוב משופרות.
• מורכבות של חישובים מבוזרים: נדרש expert parallelism וחליפין all‑to‑all; עלויות תקשורת וניהול זיכרון הופכים לצוואר בקבוק.
• יציבות אימון: חשובה כוונון הנתב ומגבלות קיבולת (capacity), אחרת עלולים להיות ירידות באיכות/התכנסות.

שיפורים מודרניים

• Expert‑Choice routing: המומחים "בוחרים" tokenים, מה שמשפר איזון והתכנסות בעלויות דומות.
• Fine‑grained MoE: מספר גדול יותר של מומחים קטנים יותר (כמו ב-DBRX) נותן גרנולריות עדינה של התמחות.
• Sparse Upcycling: המרת מודל צפוף ל-MoE מנקודת ה-checkpoint שלו מאפשרת לשפר את האיכות משמעותית בעלויות מתונות.

כדאיות השימוש ב-MoE

• עוזרים רב-תחומיים גדולים עם תקציב compute מוגבל.
• אימון על קורפוסים נרחבים שבהם ההתמחות מניבה יתרון.
• תרחישים עם תשתית מבוזרת מפותחת (הרבה GPU/TPU ורשתות מהירות).

מתי עדיפים מודלים צפופים: תשתית מוגבלת (1–2 GPU), דרישות מחמירות לזמן אחזור צפוי ופשטות פריסה.

Retrieval‑Augmented Generation (RAG)

RAG הוא תבנית מערכת ארכיטקטונית סביב ה-LLM, ולא ארכיטקטורה פנימית של המודל עצמו. הוא משלב LLM (רכיב ייצור) עם בסיס ידע חיצוני (רכיב חילוץ), המאפשר לפצות על מגבלת ה"זיכרון הפרמטרי" של המודל.

• עקרון הפעולה: לפני הייצור, ה-LLM מחלץ מסמכים רלוונטיים ממקור חיצוני (ויקי, בסיס ידע ארגוני, אינטרנט) ומסתמך עליהם בעת יצירת התשובה.
• יתרונות:
  • הפחתת הזיות ושיפור דיוק עובדתי.
  • עדכניות ללא אימון מחדש מלא של המודל.
  • יכולת ציטוט ומעקב אחר תשובות.
• יישום: סטנדרט דה-פקטו לעוזרי ארגון ומערכות הדורשות עובדות ניתנות לאימות ועבודה עם נתונים פרטיים/מתמחים.

מנגנוני Attention ועבודה עם הקשר

ה-self‑attention הבסיסי בעל מורכבות ריבועית לפי אורך הרצף ($O(n^2)$), לכן פותחו אופטימיזציות.

• Sparse Attention (תשומת לב דלילה): הגבלת תשומת הלב לחלונות/דפוסים מקומיים. דוגמאות: Longformer, BigBird.
• FlashAttention: שינוי סדר החישובים תוך התחשבות בהיררכיית זיכרון ה-GPU; מניב יתרון משמעותי בזמן ובזיכרון והפך לסטנדרט דה-פקטו באימון LLM עם הקשר ארוך.
• MQA/GQA (האצת פענוח): Multi‑Query Attention (מפתחות/ערכים משותפים לכל הראשים) מקטין תעבורת KV‑cache. Grouped‑Query Attention מאזן איכות/מהירות.
• ייצוגי מיקום משופרים:
  • ALiBi (Attention with Linear Biases): הסטות לינאריות לציוני תשומת הלב משפרות הכללה לאורכים גדולים.
  • RoPE (Rotary Position Embeddings): מידע מיקום יחסי דרך סיבוב Q/K; נפוץ במודלים מודרניים (למשל, LLaMA).
  • הרחבת הקשר למודלי RoPE: Position Interpolation , YaRN , וכן שינויים NTK‑aware מאפשרים הגדלה יעילה של חלון ההקשר ללא שינוי ארכיטקטורה.

• גישות אחרות לרצפים ארוכים:
  • Transformer‑XL: זיכרון רקורסיבי בין קטעים למידול תלויות מרחוק.
  • Reformer: LSH‑attention ובלוקים שיוריים הפיכים לחיסכון בזיכרון.
  • Performer: קירוב לינארי ל-softmax‑attention (FAVOR+).
  • Linformer: קירוב דרגה-נמוכה למטריצת תשומת הלב.

אופטימיזציות מודלים ותשתית אימון

לאימון ופריסה של LLM נעשה שימוש בטכניקות ומסגרות מתמחות.

• כימות (Quantization): הפחתת רזולוציית המשקלים מקטינה זיכרון ומאיצה הסקה. QLoRA מאפשר fine-tuning יעיל של מודלים בני 4 ביט (כולל 65B) באיכות הקרובה לאיכות מלאה.
• זיקוק ידע (Knowledge Distillation): אימון Teacher→Student למודלים קומפקטיים; דוגמה — DistilBERT.
• אימון מבוזר:
  • DeepSpeed ו-ZeRO — פיזור פרמטרים/גרדיאנטים/מצבי אופטימייזר לאימון מודלים בני טריליון פרמטרים.
  • Megatron‑LM — מקביליות טנסורית וצינורית לטרנספורמרים גדולים מאוד.
• מערכת אקולוגית וכלים: Hugging Face Transformers ו-Accelerate מספקים מימושי מודלים סטנדרטיים ושילוב עם DeepSpeed/FSDP לאימון ולהסקה.

חוקי הרחבה ואימון compute‑optimal

חוקי הרחבה האמפיריים מראים שגיאת האנטרופיה הצולבת פוחתת לפי חוק חזקה עם גידול פרמטרים, נתונים וחישובים. עבודת Chinchilla דייקה את משטרי ה-compute‑optimal: לייעילות מרבית יש להרחיב במשותף את גודל המודל ואת מספר tokenי האימון (דוגמה — מודל 70B שאומן על ~1.4T tokenים, העולה על מודלים גדולים יותר שאומנו בחסר).

מודלים עם מרחב מצב (State Space Models, SSM)

State Space Models (SSM) — ארכיטקטורה חלופית לטרנספורמרים לעבודה עם רצפים ארוכים. היא שואבת רעיונות מתורת הבקרה ועיבוד אותות דיגיטלי ופותרת את הבעיה העיקרית של self‑attention: גידול ריבועי בחישובים עם התארכות הטקסט.

הבעיה העיקרית והפתרון

בעיית הטרנספורמרים. הבעיה העיקרית של טרנספורמרים מסורתיים היא המורכבות הריבועית של תשומת הלב: טקסט ארוך פי 10 דורש בקירוב פי 100 יותר חישובים.

גישת SSM. במקום "תשומת לב בו-זמנית לכל המילים", המודל עובר על הטקסט ברצף ומתחזק מצב זיכרון פנימי קומפקטי המתעדכן בכל צעד. כתוצאה, הזמן וצריכת הזיכרון גדלים בקירוב לינארית עם אורך הטקסט. יחד עם זאת, האימון יכול להתבצע במקביל — דרך ייצוג קונבולוציה של הגרעין (תפוקה גבוהה ברצפים ארוכים).

עקרון הפעולה

ה-SSM הדיסקרטי מתואר על ידי משוואות מצב ופלט:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

כאשר $x_t$ — מצב הזיכרון, $u_t$ — כניסה (token), $y_t$ — פלט. ב-SSM עמוקים, המטריצות $A,B,C,D$ מפורמטות כך שיבטיחו יציבות וחישובים יעילים ברצפים ארוכים. ניתן להתייחס לאותה שכבה כ:

• רקורסיבית (סריקה לפי צעדים) — הסקה חסכונית בזיכרון ללא KV‑cache;
• קונבולוציה — אימון מקבילי עם גרעין מחושב מראש.

ארכיטקטורות עיקריות והיברידים

• S4 (Structured State Spaces). קו הבסיס של SSM עם פרמטריזציה יציבה של מטריצת המצב; מדגים יעילות ברצפים ארוכים מאוד.
• Mamba. SSM סלקטיביים: כללי עדכון הזיכרון תלויים בכניסה הנוכחית (המודל בעצמו מחליט מה "לשמור בזיכרון" ומה "לשכוח"). המימוש מוכוון להיררכיית זיכרון ה-GPU; לדברי המחברים, מושגת עלייה מכפילה בתפוקת ההסקה עם מורכבות לינארית לפי אורך.
• RetNet. מנגנון retention עם שלושה מצבים: אימון מקבילי, הסקה רקורסיבית והסקה רקורסיבית-בלוקית. המטרה — לשלב אימון מהיר (כמו בטרנספורמרים) עם זרימת הסקה חסכונית (זיכרון O(1) לכל token).
• היברידים Attention+SSM. דוגמה — Jamba (סירוגין של שכבות Transformer ו-Mamba בתוספת MoE): מדווח על תמיכה בהקשרים של ~256K tokenים עם דרישות זיכרון קטנות משמעותית בהשוואה למודלים טרנספורמריים טהורים מאותה קטגוריה.

יתרונות

• מורכבות לינארית וחיסכון בזיכרון בהסקה. אין self‑attention גלובלי ו-KV‑cache; נשמר רק מצב קומפקטי.
• אימון מקבילי ברצפים ארוכים. מצב קונבולוציה מגביר את תפוקת האימון.
• יעילות חומרה. המימושים מוכוונים להיררכיית הזיכרון המודרנית (HBM/SRAM).
• הקשרים ארוכים וסטרימינג. היברידים SSM+Attention מעשיים למאות אלפי tokenים במשאבים מתונים.

מגבלות ופרקטיקה נוכחית

• בשלות המערכת האקולוגית. הכלים ו"המתכונים" להרחבה (הוראות, RLHF/DPO) עדיין מפגרים אחרי ה-stack הטרנספורמרי.
• איכות ויציבות. בחלק מהמשימות, היברידים (Attention+SSM) מציגים פשרה "איכות/מהירות/זיכרון" יציבה יותר מ-SSM "טהורים".

השוואת גישות (בצורה כללית)

מאפיין	טרנספורמרים	SSM	היברידים (Attention+SSM)
מורכבות לפי אורך	ריבועית (self‑attention)	לינארית (סריקה/קונבולוציה)	קרובה ללינארית
זיכרון לכל token (הסקה)	KV‑cache גדל עם ההקשר	מצב O(1)	גידול מתון
הקשרים ארוכים	נדרשות אופטימיזציות מיוחדות	תמיכה טבעית	מעשי עד ~256K
בשלות המערכת האקולוגית	גבוהה	מתפתחת	מתפתחת

יישומים מעשיים

• ניתוח מסמכים ארוכים מאוד (ספרים, דוחות, סקירות מדעיות).
• עיבוד סטרימינג ותרחישי צ'אט עם היסטוריה ארוכה ללא יוקר זיכרון.
• סביבות עם משאבים מוגבלים (מכשירים ניידים/edge).
• טורי זמן ונתונים רציפים אחרים.

מודלים מייצגים: S4, Mamba, RetNet; היברידים Attention+SSM (Jamba).

התפתחות הארכיטקטורות

• 2017 — פורסמה המאמר "Attention Is All You Need". הוצגה ארכיטקטורת הטרנספורמר: self‑attention רב-ראשי וקידודי מיקום מאפשרים אימון מודלים ללא רקורסיה וקונבולוציות; יחד עם זאת, תשומת הלב בעלת מורכבות ריבועית לפי אורך ההקשר.

• 2018 — הוצגו GPT‑1 ו-BERT. GPT‑1 משתמש בערימת מפענחים בלבד עם attention סיבתי לייצור ו-fine-tuning עוקב; BERT מכניס encoder דו-כיווני ואימון מקדים MLM למשימות הבנת טקסט.

• 2019 — הוצעו דרכים לעבוד עם רצפים ארוכים והוגדל decoder‑only. Transformer‑XL מוסיף "זיכרון" ומיקומים יחסיים לצאת מעבר לחלון קבוע; GPT‑2 מציג גידול ביכולות zero‑shot עם הגדלת הקנה; BART מדגים יעילות אימון מקדים מסוג denoising לצורך seq2seq.

• 2020 — אוחד פורמט "text‑to‑text" והוצגו שיטות למסמכים ארוכים. T5 מנסח גישת encoder–decoder מאוחדת למשימות שונות; Longformer ו-BigBird משתמשים ב-attention דליל/מובנה לטקסטים ארוכים; GPT‑3 מאשש את יעילות ההרחבה של decoder‑only צפוף.

• 2021 — שופרו ייצוגי מיקום והוצגה דלילות פרמטרים (MoE). RoPE ו-ALiBi משפרים הכללה לאורכים גדולים; Switch Transformer ו-GLaM מפעילים רק חלק מהמומחים לכל token, מגדילים קיבולת ללא גידול כפול בעלות ההסקה.

• 2022 — דויק משטר compute‑optimal והוגברה מהירות ההסקה בפרומפטים ארוכים. Chinchilla מראה את היתרון של יותר tokenי אימון עם מודל בגודל מתון; PaLM עם Multi‑Query Attention מקטין את נפח ה-KV‑cache; FlashAttention מאיץ תשומת לב על GPU.

• 2023 — הוגדלו חלונות הקשר ללא שינוי שכבות ושופרה הגשת השרת. משפחת LLaMA מבססת שיטות עבודה (RMSNorm, SwiGLU, RoPE); Position Interpolation ו-YaRN מרחיבים את ההקשר; vLLM/PagedAttention מנהלים את ה-KV‑cache ביתר יעילות.

• 2023 — GPT‑4 ו-Gemini מציגים עיבוד וייצור במספר מודאליות במסגרת משפחת מודלים אחת.

• 2023 — הוצעו מודלים עם מרחב מצב (SSM). Mamba ו-RetNet מחזירים עיבוד רציף עם מצב קומפקטי במקום KV‑cache ומניחים בסיס לארכיטקטורות היברידיות.

• 2024 — פורסמו מודלי MoE פתוחים והיברידים Attention+SSM; הואצה תשומת הלב על GPUים חדשים. Mixtral 8×7B/8×22B ו-DBRX מאשרים את הפרקטיות של MoE; Jamba משלב Transformer ו-Mamba לצורך הקשרים ארוכים מאוד; FlashAttention‑3 מגדיל תפוקה.

קישורים חיצוניים

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — הסבר חזותי

ספרות

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768