Kiến trúc LLM

Kiến trúc các mô hình ngôn ngữ lớn (LLM) — là các nguyên tắc và cấu trúc nền tảng xác định cách thức xây dựng, huấn luyện và vận hành các mô hình ngôn ngữ lớn. Các LLM hiện đại có khả năng hiểu và tạo sinh ngôn ngữ tự nhiên của con người hầu như hoàn toàn dựa trên kiến trúc Transformer, nhưng bao gồm nhiều cải tiến và cách tiếp cận khác nhau nhằm nâng cao hiệu quả, khả năng mở rộng và năng lực xử lý.

Các họ kiến trúc LLM (transformer)

Các mô hình ngôn ngữ lớn hiện đại dựa trên kiến trúc transformer, nhưng sử dụng nó theo những cách khác nhau tùy thuộc vào mục tiêu: hiểu văn bản, tạo sinh phần tiếp theo, hay chuyển đổi văn bản này thành văn bản khác. Trong thực tế, người ta phân biệt ba họ kiến trúc trong khi vẫn duy trì các nguyên tắc cơ bản của transformer.

1. Encoder‑only (chỉ bộ mã hóa, chỉ encoder)

Mô hình chỉ sử dụng ngăn xếp các bộ mã hóa và xem xét toàn bộ văn bản đầu vào theo cả hai chiều. Quá trình tiền huấn luyện thường được xây dựng dưới dạng masked‑language modeling (MLM, mô hình hóa ngôn ngữ có che khuất): một phần các token bị ẩn đi và mô hình học cách khôi phục chúng dựa trên ngữ cảnh xung quanh. Nhờ ngữ cảnh hai chiều, các mô hình này mạnh trong các tác vụ hiểu và chấm điểm: phân loại, nhận dạng thực thể, tái xếp hạng tài liệu và QA trích xuất. Chúng không được thiết kế cho việc tạo sinh tự hồi quy "từ đầu".

Ngoài ra, trong thực tế còn áp dụng các mục tiêu tiền huấn luyện thay thế cho họ encoder‑only: replaced token detection (RTD) trong ELECTRA (mô hình phân biệt nhận ra các token bị thay thế) và học đối chiếu cho bi‑encoder trong tìm kiếm ngữ nghĩa/retriever (InfoNCE/softmax‑loss trên các cặp "truy vấn‑tài liệu", như trong Dense Passage Retrieval). Khi sử dụng trong RAG, encoder‑only đóng vai trò hoặc là bi‑encoder (mã hóa riêng biệt truy vấn và tài liệu để tìm kiếm ANN nhanh), hoặc là cross‑encoder (mã hóa chung cặp để tái xếp hạng chính xác).

Ưu điểm:

• Chất lượng hiểu văn bản cao nhờ ngữ cảnh hai chiều: phân loại, NER, trích xuất thông tin, tái xếp hạng, QA trích xuất.
• Xử lý song song và thông lượng cao: một lần truyền xuôi duy nhất không có tự hồi quy; thuận tiện cho việc xử lý batch khi chấm điểm hàng loạt.
• Tích hợp tự nhiên với tìm kiếm và RAG: trong vai trò bi‑encoder — tìm kiếm ngữ nghĩa nhanh; trong vai trò cross‑encoder — tái xếp hạng chính xác.
• Thích nghi hiệu quả: các biến thể tương đối nhỏ gọn (≈100–300 triệu tham số; BERT‑base ≈110 triệu) sau khi tinh chỉnh theo mục tiêu cụ thể cho chất lượng cao.
• Độ trễ ổn định, không phụ thuộc vào độ dài câu trả lời được tạo sinh (không có giải mã từng bước); phù hợp cho việc chấm điểm ngoại tuyến các tập hợp lớn.
• Khả năng mở rộng cửa sổ ngữ cảnh cho encoder nhờ vị trí tương đối/xoay và/hoặc attention cục bộ‑thưa (ví dụ: Longformer/BigBird), hữu ích cho các tài liệu dài.

Nhược điểm:

• Không có khả năng tạo sinh riêng: cần decoder hoặc module tạo sinh bên ngoài cho các cuộc hội thoại và câu trả lời chi tiết.
• Hạn chế trong các kịch bản tương tác: không có tạo sinh từng bước với lưu trạng thái.
• Sự không phù hợp giữa mục tiêu tiền huấn luyện và các tác vụ tạo sinh tự do: MLM kém phù hợp hơn với tạo sinh so với mô hình hóa nhân quả.
• Cửa sổ ngữ cảnh bị giới hạn theo lịch sử (thường 512 token trong các cấu hình cơ bản với vị trí tuyệt đối); việc mở rộng đòi hỏi các sơ đồ vị trí/attention đặc biệt và/hoặc tinh chỉnh thêm.
• Đối với các tác vụ retrieval, cần tinh chỉnh đối chiếu riêng cho bi‑encoder và/hoặc cross‑encoder; nếu không làm vậy, chất lượng tìm kiếm/tái xếp hạng thường thấp hơn so với các mô hình được huấn luyện chuyên biệt.

Các mô hình tiêu biểu: BERT và các biến thể, cũng như RoBERTa và DeBERTa (các biến thể mở rộng của encoder‑only); trong số các mục tiêu tiền huấn luyện thay thế — ELECTRA (RTD).

2. Decoder‑only (chỉ bộ giải mã, chỉ decoder)

Chỉ sử dụng ngăn xếp các bộ giải mã với attention nhân quả (từ trái sang phải): mô hình dự đoán token tiếp theo dựa trên tiền tố đã cho. Chế độ huấn luyện này — causal language modeling (CLM) — làm cho các mô hình này trở thành lựa chọn tự nhiên cho tạo sinh: hội thoại, câu trả lời chi tiết, văn bản sáng tạo, mã lập trình. Sự đánh đổi là độ trễ tăng và kích thước KV‑cache tăng với các prompt dài. Trong thực tế, đối với decoder‑only, các kỹ thuật kỹ thuật được áp dụng rộng rãi: giảm KV‑cache thông qua MQA và GQA, tăng tốc suy luận thông qua speculative decoding và các tối ưu hóa phía máy chủ (PagedAttention/vLLM, continuous batching, chunked prefill).

Ưu điểm:

• Tạo sinh văn bản tự nhiên (CLM): khả năng zero‑shot và few‑shot mạnh mẽ; mở rộng tốt.
• Tính đa năng trong ứng dụng: một mô hình giải quyết nhiều tác vụ bằng hướng dẫn và ví dụ trong prompt; kết hợp tự nhiên với RAG và gọi công cụ (tool use).
• Hệ sinh thái trưởng thành: các thực hành tinh chỉnh theo hướng dẫn và căn chỉnh hành vi (RLHF, DPO); có sẵn các triển khai mã nguồn mở và thương mại.
• Ngăn xếp tối ưu hóa suy luận phong phú: MQA/GQA giảm kích thước KV‑cache và tăng thông lượng; speculative decoding tăng tốc suy luận mà không thay đổi phân phối; PagedAttention/vLLM với continuous batching và chunked prefill nâng cao mức sử dụng GPU từ đầu đến cuối.
• Hỗ trợ tạo sinh có cấu trúc cho các định dạng câu trả lời nghiêm ngặt (JSON/SQL/DSL), đơn giản hóa tích hợp với hệ thống thông tin và API.

Nhược điểm:

• Độ trễ tạo sinh tăng cao: suy luận tuần tự; chi phí cho mỗi token mới tăng theo độ dài ngữ cảnh đã "đọc" (KV‑cache).
• Kém hiệu quả hơn với hồ sơ "đầu vào dài – đầu ra ngắn" (tóm tắt, dịch thuật) so với encoder–decoder, nơi đầu vào được mã hóa một lần.
• Hạn chế bởi ngữ cảnh một chiều: trong các tác vụ hiểu, đôi khi kém hơn các mô hình có biểu diễn hai chiều (encoder‑only / encoder–decoder).
• Bộ nhớ dành cho KV‑cache có thể là "điểm nghẽn cổ chai" với các prompt dài và các batch lớn;
• Lượng tử hóa activation/KV (INT8/FP8) tăng tốc suy luận nhưng có thể làm giảm chất lượng trên các ngữ cảnh dài/mã; yêu cầu xác thực cẩn thận (đặc biệt khi có các SLA nghiêm ngặt).

Các mô hình tiêu biểu: GPT‑3, GPT‑4 (chi tiết kiến trúc và dataset không được công bố công khai), LLaMA và Llama 3 (8B/70B, 2024).

3. Encoder–decoder (bộ mã hóa–bộ giải mã, encoder‑decoder)

Kiến trúc kết hợp cả hai thành phần. Encoder hoạt động ở chế độ hai chiều, còn decoder — theo chiều nhân quả. Encoder phân tích đầu vào một lần và hình thành biểu diễn của nó; decoder tạo sinh đầu ra bằng cách truy cập biểu diễn đó thông qua cross‑attention. Cách tiếp cận tách biệt này đặc biệt hữu ích khi cần chuyển đổi văn bản đầu vào dài thành đầu ra ngắn: dịch máy, tóm tắt, trả lời dựa trên tài liệu. Mặc dù phương pháp này đòi hỏi chi phí tính toán tổng thể lớn hơn (hai ngăn xếp và cross‑attention), ưu điểm của nó là tạo sinh có kiểm soát dựa trên phân tích đầy đủ văn bản nguồn; đồng thời quá trình mã hóa được thực hiện một lần và tái sử dụng trong suốt quá trình suy luận.

Ưu điểm:

• Tạo sinh có điều kiện: decoder sử dụng cross‑attention đến biểu diễn đầu vào.
• Hiệu quả trong kịch bản "đầu vào dài → đầu ra ngắn": đầu vào được mã hóa một lần.
• Thuận tiện cho định dạng "text‑to‑text" và đầu ra có kiểm soát (tiền tố theo tác vụ, hướng dẫn đặc biệt).
• Tính ổn định và hiệu quả với nguồn dài: trong giai đoạn giải mã, chỉ self‑attention trên đầu ra tăng lên, còn cross‑attention tái sử dụng các khóa/giá trị cố định từ encoder (đầu vào không "đọc lại" ở mỗi bước).

Nhược điểm:

• Hai ngăn xếp làm tăng yêu cầu về bộ nhớ và tính toán trong quá trình huấn luyện và sử dụng.
• Đối với các chuỗi rất dài, độ trễ tổng thể có thể so sánh được với decoder‑only; tự hồi quy vẫn là điểm nghẽn.
• Ít mô hình chat đa năng hơn so với decoder‑only; thường được sử dụng như một công cụ seq2seq chất lượng cao cho các tác vụ cụ thể.
• Với đầu vào rất dài, bộ nhớ dành cho các khóa/giá trị cross‑attention ở mỗi lớp decoder (trên toàn bộ nguồn) tăng lên, đòi hỏi lập kế hoạch phục vụ cẩn thận.

Các mô hình tiêu biểu: T5 (bao gồm T5 v1.1 và thực hành tinh chỉnh theo hướng dẫn trong FLAN‑T5) và BART.

Transformer dày đặc (Dense Transformer)

Kiến trúc LLM cổ điển và phổ biến nhất: khi xử lý mỗi token, hầu như toàn bộ tập tham số của mô hình đều tham gia. Khác với các cách tiếp cận thưa thớt (ví dụ: Mixture‑of‑Experts), không có việc kích hoạt chọn lọc các mạng con — mỗi khối hoạt động cho mỗi token.

Nguyên lý hoạt động và kiến trúc

Cấu trúc cơ bản. Mô hình là một ngăn xếp gồm N khối transformer đồng nhất. Mỗi khối bao gồm:

1. Cơ chế tự chú ý đa đầu (Multi‑Head Self‑Attention). Với mỗi token, ba vector được tính toán: Q (query), K (key), V (value); attention được xác định là $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$, trong đó $M$ — mặt nạ (nhân quả và/hoặc padding‑mask) loại trừ các vị trí không hợp lệ. Một số "đầu" attention song song xem xét các khía cạnh khác nhau của ngữ cảnh (H đầu, thường là $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); số lượng của chúng tăng theo quy mô mô hình.
2. Mạng truyền xuôi đầy đủ (Feed‑Forward Network, FFN). Hai lớp tuyến tính với phi tuyến tính ở giữa (thường là GELU/SiLU; trong một số mô hình hiện đại — SwiGLU). Chiều trung gian thường là $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; khi sử dụng SwiGLU, thường lấy $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ để duy trì số lượng tham số tương đương. FFN chứa một tỷ lệ đáng kể các tham số.

Các thành phần bổ sung. Sử dụng các kết nối residual và chuẩn hóa lớp; trong các LLM hiện đại thường áp dụng Pre‑LN (chuẩn hóa trước các khối con) — điều này cải thiện tính ổn định huấn luyện ở độ sâu lớn. Ngoài LayerNorm cổ điển, RMSNorm ngày càng được sử dụng rộng rãi hơn (giảm chi phí tính toán và hoạt động tốt trong các mô hình lớn); ngoài ra, trong một số họ mô hình, chuẩn hóa trong không gian attention được áp dụng (ví dụ: chuẩn hóa Q/K trước softmax). Biểu diễn vị trí có thể là tuyệt đối hoặc tương đối; RoPE đã trở thành tiêu chuẩn de facto cho ngữ cảnh dài.

Ví dụ về mô hình và quy mô

• BERT‑Large: 24 lớp, chiều 1024, 16 đầu attention, ≈340 triệu tham số.
• GPT‑3 (175B): 96 lớp, chiều 12288, 96 đầu attention, ≈175 tỷ tham số.
• LLaMA‑65B: 80 lớp, chiều 8192, 64 đầu attention, ≈65 tỷ tham số.
• PaLM‑540B: 118 lớp, chiều khoảng 18432, ≈540 tỷ tham số.

Ưu điểm

• Các khối đồng nhất, các chế độ huấn luyện được nghiên cứu kỹ và hành vi có thể dự đoán khi mở rộng quy mô.
• Chất lượng cải thiện theo quy luật lũy thừa khi tăng tham số và dữ liệu; chế độ compute‑optimal đòi hỏi tăng đồng thời kích thước mô hình và khối lượng token huấn luyện.
• Cùng một kiến trúc sau khi tinh chỉnh bao phủ nhiều tác vụ mà không cần thay đổi ở cấp độ lớp.

Nhược điểm

• Self‑attention đầy đủ có độ phức tạp bậc hai theo độ dài chuỗi ($O(n^2)$), điều này hạn chế cửa sổ ngữ cảnh.
• Kích hoạt đầy đủ các tham số tại bước tạo sinh: trong decoder không có MoE, chi phí suy luận trên mỗi token tăng xấp xỉ tỷ lệ thuận với số lượng tham số.
• Điểm nghẽn — băng thông bộ nhớ (memory‑bound): việc tải trọng số từ HBM thường giới hạn tốc độ suy luận.

Giới hạn về mở rộng quy mô và ngữ cảnh

• Bộ nhớ cho tham số tăng tuyến tính theo kích thước mô hình; bộ nhớ huấn luyện tăng do gradient và trạng thái bộ tối ưu hóa.
• Các cấu hình cơ bản trong lịch sử bị giới hạn ở 2–4 nghìn token. Các sơ đồ vị trí hiện đại (RoPE) và các kỹ thuật mở rộng (Position Interpolation, YaRN và các kỹ thuật khác) cho phép tăng cửa sổ lên hàng chục lần, nhưng với chi phí tính toán/bộ nhớ bổ sung.

Các tối ưu hóa hiện đại

• FlashAttention. Attention chính xác có tính đến phân cấp bộ nhớ GPU; giảm chi phí bộ nhớ và tăng tốc huấn luyện/suy luận với các chuỗi dài.
• Giảm thiểu và quản lý KV‑cache. Multi‑Query Attention và Grouped‑Query Attention giảm kích thước cache và lưu lượng bộ nhớ; ở cấp độ máy chủ, PagedAttention (vLLM) tăng thông lượng thông qua quản lý cache theo trang.
• Speculative decoding. Mô hình nháp (draft) đề xuất phần tiếp theo, và mô hình chính xác nhận nhanh chóng; đạt được tăng tốc mà không thay đổi phân phối đầu ra.

Mô hình thưa (Sparse Models) và Mixture‑of‑Experts (MoE)

MoE là cách tăng dung lượng mô hình mà không tăng tỷ lệ tính toán trên mỗi token. Thay vì một khối FFN lớn trong một lớp, một tập hợp các "chuyên gia" song song được sử dụng (một số FFN độc lập), và một mạng định tuyến (gating network) có thể học được chọn top‑k chuyên gia phù hợp nhất cho mỗi token (thường k=1–2; trong một số mô hình k=4). Chỉ các chuyên gia được chọn mới được kích hoạt; đầu ra của chúng được trọng số và tổng hợp. Nhờ đó, tổng số tham số có thể lên đến hàng trăm tỷ và thậm chí hàng nghìn tỷ, nhưng ở mỗi bước chỉ có một phần nhỏ được sử dụng.

Ví dụ về mô hình và quy mô

• Switch Transformer (Google): lên đến ~1.6T tham số; định tuyến top‑1 (một chuyên gia trên mỗi token). Cho thấy rằng MoE cho phép tăng mạnh dung lượng với chi phí trên mỗi token tương đương.
• GLaM (Google): 1.2T tham số, 64 chuyên gia trong một lớp, top‑2; mỗi token kích hoạt ≈96.6B tham số (≈8%).
• Mixtral 8×7B (Mistral AI): ~46.7B tham số tổng cộng, ≈12.9B tham số hoạt động trên mỗi token, top‑2.
• Mixtral 8×22B: ~141B tham số tổng cộng, ≈39B tham số hoạt động trên mỗi token, top‑2.
• DBRX (Databricks): 132B tham số tổng cộng, ≈36B tham số hoạt động trên mỗi token; 16 chuyên gia và định tuyến top‑4 (fine‑grained MoE).

Ưu điểm

• Chi phí tính toán được xác định bởi số lượng chuyên gia hoạt động k, không phải tổng số tham số: có thể huấn luyện và sử dụng các mô hình quy mô nghìn tỷ với chi phí tương đương các mô hình dày đặc có kích thước nhỏ hơn đáng kể.
• Chuyên biệt hóa: các chuyên gia tự động "điều chỉnh" theo ngôn ngữ/lĩnh vực/mẫu, cải thiện chất lượng trong các tác vụ đa lĩnh vực.
• Triển khai linh hoạt: có thể giữ các chuyên gia thường dùng trong bộ nhớ và tải các chuyên gia hiếm dùng khi cần (với cơ sở hạ tầng phù hợp).

Hạn chế

• Cân bằng tải: nếu không có chính quy hóa, bộ định tuyến có thể "dính" vào một số chuyên gia (router collapse). Cần có auxiliary losses (load‑balancing) và các sơ đồ định tuyến cải tiến.
• Độ phức tạp của tính toán phân tán: yêu cầu expert parallelism và trao đổi all‑to‑all; chi phí truyền thông và quản lý bộ nhớ trở thành điểm nghẽn.
• Tính ổn định huấn luyện: cần điều chỉnh cẩn thận bộ định tuyến và các ràng buộc dung lượng (capacity), nếu không có thể xảy ra suy giảm chất lượng/hội tụ.

Các cải tiến hiện đại

• Expert‑Choice routing: các chuyên gia "chọn" token, cải thiện cân bằng tải và hội tụ với chi phí tương đương.
• Fine‑grained MoE: số lượng lớn hơn các chuyên gia nhỏ hơn (như trong DBRX) cho phép độ phân giải chuyên biệt hóa tinh tế.
• Sparse Upcycling: chuyển đổi mô hình dày đặc sang MoE từ checkpoint của nó cho phép cải thiện đáng kể chất lượng với chi phí vừa phải.

Tính phù hợp của việc áp dụng MoE

• Các trợ lý đa lĩnh vực quy mô lớn với ngân sách compute hạn chế.
• Huấn luyện trên các kho ngữ liệu rộng lớn nơi chuyên biệt hóa mang lại lợi ích.
• Các kịch bản với cơ sở hạ tầng phân tán phát triển (nhiều GPU/TPU và mạng nhanh).

Khi nào nên dùng mô hình dày đặc: cơ sở hạ tầng hạn chế (1–2 GPU), yêu cầu nghiêm ngặt về độ trễ có thể dự đoán và đơn giản trong triển khai.

Retrieval‑Augmented Generation (RAG)

RAG là một mẫu kiến trúc hệ thống xung quanh LLM, chứ không phải kiến trúc nội bộ của bản thân mô hình. Nó kết hợp LLM (thành phần tạo sinh) với cơ sở tri thức bên ngoài (thành phần trích xuất), cho phép bù đắp sự hạn chế của "bộ nhớ tham số" của mô hình.

• Nguyên lý hoạt động: Trước khi tạo sinh, LLM trích xuất các tài liệu liên quan từ nguồn bên ngoài (wiki, cơ sở tri thức doanh nghiệp, web) và dựa vào chúng khi hình thành câu trả lời.
• Ưu điểm:
  • Giảm ảo giác và cải thiện độ chính xác thực tế.
  • Tính cập nhật mà không cần huấn luyện lại toàn bộ mô hình.
  • Khả năng trích dẫn và truy vết câu trả lời.
• Ứng dụng: Tiêu chuẩn de facto cho các trợ lý doanh nghiệp và các hệ thống đòi hỏi sự kiện có thể kiểm chứng và làm việc với dữ liệu riêng tư/chuyên biệt.

Cơ chế attention và làm việc với ngữ cảnh

Self‑attention cơ bản có độ phức tạp bậc hai theo độ dài chuỗi ($O(n^2)$), vì vậy các tối ưu hóa đã xuất hiện.

• Sparse Attention (Attention thưa): Giới hạn attention theo các cửa sổ/mẫu cục bộ. Ví dụ: Longformer, BigBird.
• FlashAttention: Tổ chức lại thứ tự tính toán có tính đến phân cấp bộ nhớ GPU; mang lại lợi ích đáng kể về thời gian và bộ nhớ và đã trở thành tiêu chuẩn de facto khi huấn luyện LLM với ngữ cảnh dài.
• MQA/GQA (tăng tốc giải mã): Multi‑Query Attention (các khóa/giá trị chung cho tất cả các đầu) giảm lưu lượng KV‑cache. Grouped‑Query Attention cân bằng chất lượng/tốc độ.
• Biểu diễn vị trí cải tiến:
  • ALiBi (Attention with Linear Biases): Các độ lệch tuyến tính đối với điểm attention cải thiện khả năng tổng quát hóa sang độ dài lớn hơn.
  • RoPE (Rotary Position Embeddings): Thông tin vị trí tương đối thông qua phép xoay Q/K; được sử dụng rộng rãi trong các mô hình hiện đại (ví dụ: LLaMA).
  • Mở rộng ngữ cảnh cho các mô hình RoPE: Position Interpolation , YaRN , cũng như các sửa đổi NTK‑aware cho phép mở rộng hiệu quả cửa sổ ngữ cảnh mà không thay đổi kiến trúc.

• Các cách tiếp cận khác cho chuỗi dài:
  • Transformer‑XL: Bộ nhớ hồi quy giữa các phân đoạn để mô hình hóa các phụ thuộc tầm xa.
  • Reformer: LSH‑attention và các khối residual khả nghịch để tiết kiệm bộ nhớ.
  • Performer: Xấp xỉ tuyến tính của softmax‑attention (FAVOR+).
  • Linformer: Xấp xỉ hạng thấp của ma trận attention.

Tối ưu hóa mô hình và cơ sở hạ tầng huấn luyện

Các kỹ thuật và framework chuyên biệt được sử dụng để huấn luyện và triển khai LLM.

• Lượng tử hóa (Quantization): Giảm độ rộng bit của trọng số giảm bộ nhớ và tăng tốc suy luận. QLoRA cho phép tinh chỉnh hiệu quả các mô hình 4‑bit (bao gồm 65B) với chất lượng gần bằng độ chính xác đầy đủ.
• Chưng cất tri thức (Knowledge Distillation): Huấn luyện Teacher→Student cho các mô hình nhỏ gọn; ví dụ — DistilBERT.
• Huấn luyện phân tán:
  • DeepSpeed và ZeRO — phân phối tham số/gradient/trạng thái bộ tối ưu hóa để huấn luyện các mô hình nghìn tỷ tham số.
  • Megatron‑LM — song song tensor và pipeline cho các transformer rất lớn.
• Hệ sinh thái và công cụ: Hugging Face Transformers và Accelerate cung cấp các triển khai mô hình chuẩn và tích hợp với DeepSpeed/FSDP cho huấn luyện và suy luận.

Quy luật mở rộng và huấn luyện compute‑optimal

Các quy luật mở rộng thực nghiệm cho thấy lỗi cross‑entropy giảm theo quy luật lũy thừa khi tăng tham số, dữ liệu và tính toán. Công trình Chinchilla đã làm rõ các chế độ compute‑optimal: để đạt hiệu quả tối ưu, kích thước mô hình và số lượng token huấn luyện cần được mở rộng đồng thời (ví dụ — mô hình 70B được huấn luyện trên ~1.4T token, vượt trội hơn các mô hình lớn hơn được huấn luyện chưa đủ).

Mô hình không gian trạng thái (State Space Models, SSM)

State Space Models (SSM) — kiến trúc thay thế cho transformer để làm việc với các chuỗi dài. Nó mượn ý tưởng từ lý thuyết điều khiển và xử lý tín hiệu số và giải quyết vấn đề chính của self‑attention: sự tăng trưởng bậc hai của tính toán khi độ dài văn bản tăng lên.

Vấn đề cốt lõi và giải pháp

Vấn đề của transformer. Vấn đề chính của các transformer truyền thống là độ phức tạp bậc hai của attention: văn bản dài gấp 10 lần đòi hỏi tính toán nhiều hơn khoảng 100 lần.

Cách tiếp cận SSM. Thay vì "chú ý đồng thời đến tất cả các từ", mô hình đi qua văn bản tuần tự và duy trì một trạng thái bộ nhớ nội bộ nhỏ gọn, được cập nhật ở mỗi bước. Kết quả là thời gian và mức tiêu thụ bộ nhớ tăng xấp xỉ tuyến tính theo độ dài văn bản. Đồng thời, huấn luyện có thể được thực hiện song song — thông qua biểu diễn tích chập của kernel (thông lượng cao trên các chuỗi dài).

Nguyên lý hoạt động

SSM rời rạc được mô tả bởi các phương trình trạng thái và đầu ra:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

trong đó $x_t$ — trạng thái bộ nhớ, $u_t$ — đầu vào (token), $y_t$ — đầu ra. Trong các SSM sâu, các ma trận $A,B,C,D$ được tham số hóa để đảm bảo tính ổn định và tính toán hiệu quả trên các chuỗi dài. Cùng một lớp có thể được xem như:

• hồi quy (quét theo bước) — suy luận tiết kiệm bộ nhớ không có KV‑cache;
• tích chập — huấn luyện song song với kernel được tính toán trước.

Các kiến trúc chính và mô hình lai

• S4 (Structured State Spaces). Đường cơ sở SSM với tham số hóa ổn định của ma trận trạng thái; thể hiện hiệu quả trên các chuỗi rất dài.
• Mamba. SSM chọn lọc: các quy tắc cập nhật bộ nhớ phụ thuộc vào đầu vào hiện tại (mô hình tự quyết định những gì "giữ trong bộ nhớ" và những gì "quên đi"). Triển khai hướng đến phân cấp bộ nhớ GPU; theo dữ liệu của tác giả, đạt được tăng bội thông lượng suy luận với độ phức tạp tuyến tính theo độ dài.
• RetNet. Cơ chế retention với ba chế độ: huấn luyện song song, suy luận hồi quy và suy luận hồi quy theo khối. Mục tiêu — kết hợp huấn luyện nhanh (như transformer) với luồng tiết kiệm trong suy luận (O(1) bộ nhớ trên mỗi token).
• Mô hình lai Attention+SSM. Ví dụ — Jamba (xen kẽ các lớp Transformer và Mamba cộng với MoE): được báo cáo hỗ trợ ngữ cảnh khoảng ~256K token với yêu cầu bộ nhớ thấp hơn đáng kể so với các mô hình thuần transformer cùng hạng.

Ưu điểm

• Độ phức tạp tuyến tính và tiết kiệm bộ nhớ trong suy luận. Không có global self‑attention và KV‑cache; chỉ lưu trạng thái nhỏ gọn.
• Huấn luyện song song trên các chuỗi dài. Chế độ tích chập tăng thông lượng huấn luyện.
• Hiệu quả phần cứng. Các triển khai hướng đến phân cấp bộ nhớ hiện đại (HBM/SRAM).
• Ngữ cảnh dài và streaming. Các mô hình lai SSM+Attention thực tế cho hàng trăm nghìn token với tài nguyên vừa phải.

Hạn chế và thực hành hiện tại

• Độ trưởng thành của hệ sinh thái. Các công cụ và "công thức" mở rộng (hướng dẫn, RLHF/DPO) vẫn còn kém hơn ngăn xếp transformer.
• Chất lượng và tính ổn định. Trong một số tác vụ, các mô hình lai (Attention+SSM) cho thấy sự đánh đổi "chất lượng/tốc độ/bộ nhớ" ổn định hơn so với SSM "thuần túy".

So sánh các cách tiếp cận (tổng quát)

Đặc điểm	Transformer	SSM	Mô hình lai (Attention+SSM)
Độ phức tạp theo độ dài	Bậc hai (self‑attention)	Tuyến tính (quét/tích chập)	Gần tuyến tính
Bộ nhớ trên mỗi token (suy luận)	KV‑cache tăng theo ngữ cảnh	Trạng thái O(1)	Tăng trưởng vừa phải
Ngữ cảnh dài	Cần các tối ưu hóa đặc biệt	Hỗ trợ tự nhiên	Thực tế đến ~256K
Độ trưởng thành của hệ sinh thái	Cao	Đang phát triển	Đang phát triển

Ứng dụng thực tiễn

• Phân tích các tài liệu rất dài (sách, báo cáo, tổng quan khoa học).
• Xử lý luồng và các kịch bản chat với lịch sử dài mà không tăng chi phí bộ nhớ.
• Môi trường có tài nguyên hạn chế (thiết bị di động/edge).
• Chuỗi thời gian và các dữ liệu tuần tự khác.

Các mô hình tiêu biểu: S4, Mamba, RetNet; các mô hình lai Attention+SSM (Jamba).

Sự tiến hóa của các kiến trúc

• 2017 — xuất bản bài báo "Attention Is All You Need". Giới thiệu kiến trúc transformer: self‑attention đa đầu và mã hóa vị trí cho phép huấn luyện mô hình mà không cần hồi quy và tích chập; đồng thời attention có độ phức tạp bậc hai theo độ dài ngữ cảnh.

• 2018 — giới thiệu GPT‑1 và BERT. GPT‑1 sử dụng ngăn xếp decoder‑only với attention nhân quả cho tạo sinh và tinh chỉnh tiếp theo; BERT giới thiệu encoder hai chiều và tiền huấn luyện MLM cho các tác vụ hiểu văn bản.

• 2019 — đề xuất các cách làm việc với chuỗi dài và mở rộng quy mô decoder‑only. Transformer‑XL bổ sung "bộ nhớ" và các vị trí tương đối để vượt qua cửa sổ cố định; GPT‑2 cho thấy khả năng zero‑shot tăng khi mở rộng quy mô; BART chứng minh hiệu quả của tiền huấn luyện denoising cho seq2seq.

• 2020 — thống nhất định dạng "text‑to‑text" và trình bày các phương pháp cho tài liệu dài. T5 xây dựng cách tiếp cận encoder–decoder thống nhất cho các tác vụ khác nhau; Longformer và BigBird sử dụng attention thưa/có cấu trúc cho văn bản dài; GPT‑3 xác nhận hiệu quả của việc mở rộng decoder‑only dày đặc.

• 2021 — cải tiến biểu diễn vị trí và chứng minh sự thưa thớt tham số (MoE). RoPE và ALiBi cải thiện khả năng tổng quát hóa ở độ dài lớn; Switch Transformer và GLaM chỉ kích hoạt một phần chuyên gia trên mỗi token, tăng dung lượng mà không tăng bội chi phí suy luận.

• 2022 — tinh chỉnh chế độ compute‑optimal và tăng tốc suy luận trên các prompt dài. Chinchilla cho thấy lợi ích của việc tăng số token huấn luyện với kích thước mô hình vừa phải; PaLM với Multi‑Query Attention giảm kích thước KV‑cache; FlashAttention tăng tốc attention trên GPU.

• 2023 — mở rộng cửa sổ ngữ cảnh mà không thay đổi các lớp và cải thiện việc phục vụ phía máy chủ. Dòng LLaMA củng cố các thực hành (RMSNorm, SwiGLU, RoPE); Position Interpolation và YaRN mở rộng ngữ cảnh; vLLM/PagedAttention quản lý KV‑cache hiệu quả hơn.

• 2023 — GPT‑4 và Gemini thể hiện khả năng xử lý và tạo sinh đa phương thức trong khuôn khổ một họ mô hình.

• 2023 — đề xuất các mô hình không gian trạng thái (SSM). Mamba và RetNet quay lại xử lý tuần tự với trạng thái nhỏ gọn thay vì KV‑cache và đặt nền tảng cho các kiến trúc lai.

• 2024 — xuất bản các mô hình MoE mã nguồn mở và các mô hình lai Attention+SSM; tăng tốc attention trên GPU mới. Mixtral 8×7B/8×22B và DBRX xác nhận tính thực tiễn của MoE; Jamba kết hợp Transformer và Mamba cho ngữ cảnh rất dài; FlashAttention‑3 tăng thông lượng.

Tham khảo

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — giải thích trực quan

Tài liệu

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768