Sự quên theo ngữ cảnh

From Systems analysis wiki
Jump to navigation Jump to search

Quên ngữ cảnh trong các mô hình ngôn ngữ lớn — là một hiện tượng đa chiều, trong đó một mô hình ngôn ngữ lớn (LLM) mất đi, bỏ qua hoặc sử dụng không hiệu quả thông tin đã được cung cấp trước đó trong khuôn khổ một phiên tương tác[1]. Khác với trí nhớ con người, LLM không có bộ lưu trữ trạng thái dài hạn và chỉ dựa vào cửa sổ ngữ cảnh — dung lượng văn bản giới hạn (tính bằng token) mà mô hình có thể xử lý tại một thời điểm. Cửa sổ này đóng vai trò như bộ nhớ ngắn hạn hay bộ nhớ làm việc của mô hình[2].

Biểu hiện được biết đến nhiều nhất của hạn chế này là vấn đề «Mất thông tin ở giữa» (Lost in the Middle) — xu hướng các mô hình xử lý tốt hơn thông tin nằm ở đầu và cuối ngữ cảnh dài, và kém hơn ở phần giữa[2]. Hiện tượng này không phải là lỗi mà là một đặc tính cơ bản xuất phát từ kiến trúc transformer và các nguyên tắc huấn luyện của chúng.

Hai loại quên: Quên ngữ cảnh và Quên thảm khốc

Điều quan trọng là phân biệt hai loại «quên» về cơ bản khác nhau trong LLM: quên nội ngữ cảnh và quên thảm khốc.

Quên nội ngữ cảnh (Mất thông tin ở giữa)

Loại quên này xảy ra trong một phiên tương tác (suy luận) với mô hình đã được huấn luyện. Nó liên quan đến các giới hạn của cửa sổ ngữ cảnh. Khi khối lượng hội thoại hoặc tài liệu vượt quá kích thước cửa sổ, mô hình «quên» các đoạn cũ nhất để nhường chỗ cho thông tin mới. Ngay cả trong phạm vi cửa sổ, thông tin ở giữa ngữ cảnh có thể được sử dụng kém hiệu quả hơn. Đây là giới hạn bộ nhớ làm việc của mô hình[3]. Trong các bài viết đại chúng, hiện tượng này còn được gọi là «hội chứng suy thoái ngữ cảnh» (Context Degradation Syndrome, CDS)[1].

Quên thảm khốc (Trôi dạt mô hình)

Loại quên này, còn được gọi là «trôi dạt mô hình» (model drift), xảy ra trong quá trình fine-tuning mô hình trên dữ liệu mới. Khi một mô hình đã được tiền huấn luyện trên một kho ngữ liệu khổng lồ về kiến thức chung được fine-tuning trên một tập dữ liệu chuyên biệt hẹp (ví dụ: văn bản y khoa), các trọng số của nó thay đổi. Điều này có thể dẫn đến sự suy thoái hoặc «xóa bỏ» các kiến thức và kỹ năng đã học trước đó không liên quan đến nhiệm vụ mới[4].

Nguyên nhân và cơ chế

Quên ngữ cảnh là hệ quả trực tiếp của kiến trúc transformer và hình học không gian vector.

Hiệu ứng «Mất thông tin ở giữa» (Lost in the Middle)

Nghiên cứu năm 2023 của Đại học Stanford mang tên «Lost in the Middle» đã chứng minh rõ ràng rằng hiệu suất của LLM khi truy xuất thông tin từ ngữ cảnh dài có dạng đường cong hình chữ U[2]. Độ chính xác của câu trả lời cao nhất khi thông tin liên quan nằm ở đầu (hiệu ứng đầu tiên) hoặc ở cuối (hiệu ứng mới nhất) ngữ cảnh, và giảm đáng kể nếu nó «ẩn» ở giữa. Nguyên nhân của hiện tượng này:

  • Cơ chế attention: Kiến trúc transformer về bản chất dành sự chú ý không cân xứng cho các token đầu tiên (còn gọi là «neo attention» hay attention sinks) để duy trì tính mạch lạc toàn cục, cũng như cho ngữ cảnh cục bộ, dẫn đến việc «tiêu điểm» bị suy yếu ở phần giữa[5].
  • Dữ liệu tiền huấn luyện: Các mô hình thường được huấn luyện trên các văn bản tương đối ngắn, nơi thông tin quan trọng hiếm khi nằm cách đầu văn bản hàng chục nghìn token, điều này cản trở chúng sử dụng hiệu quả các ngữ cảnh rất dài[6].

Biểu hiện và hậu quả

  • Hội chứng suy thoái ngữ cảnh: Trong các cuộc hội thoại kéo dài, mô hình bắt đầu «mất mạch câu chuyện», lặp lại câu trả lời, mâu thuẫn với các sự kiện đã được thiết lập trước đó và đưa ra các câu trả lời ngày càng chung chung và mơ hồ hơn[1].
  • Lỗi trong các nhiệm vụ nhiều bước: Trong các nhiệm vụ mà điều kiện được làm rõ qua nhiều lượt trao đổi, mô hình có thể «bám vào» giả định ban đầu sai và bỏ qua các làm rõ tiếp theo, dẫn đến việc hoàn toàn không thể giải quyết nhiệm vụ[7].
  • Sự không đáng tin cậy trong phân tích tài liệu: Khi phân tích các báo cáo dài hoặc tài liệu pháp lý, LLM có thể bỏ sót các sự kiện quan trọng nằm ở các phần trung tâm, khiến nó trở thành một công cụ không đáng tin cậy cho các nhiệm vụ như vậy.

Các chiến lược giảm thiểu và phòng ngừa

Các nhà nghiên cứu và nhà phát triển áp dụng một số phương pháp để giải quyết vấn đề quên ngữ cảnh.

Mở rộng cửa sổ ngữ cảnh

Phương pháp đơn giản nhất là tăng kích thước cửa sổ ngữ cảnh. Các mô hình hiện đại như Claude 3 (200 nghìn token) và Gemini 1.5 Pro (lên đến 2 triệu token) đã mở rộng đáng kể giới hạn này[8][9]. Tuy nhiên, các nghiên cứu cho thấy việc đơn giản tăng kích thước cửa sổ không đảm bảo sử dụng hiệu quả, và vấn đề «mất thông tin ở giữa» vẫn tồn tại[2].

Kỹ thuật prompt nâng cao

Việc cấu trúc prompt một cách hợp lý có thể cải thiện đáng kể hiệu suất. Công ty Anthropic đề xuất các thực hành sau[10]:

  • Đặt tài liệu ở đầu: Đặt các văn bản dài vào phần đầu tiên của prompt, trước các hướng dẫn và câu hỏi.
  • Sử dụng thẻ XML: Bao các tài liệu trong thẻ `<document>` để phân tách rõ ràng.
  • Căn cứ câu trả lời vào trích dẫn: Hướng dẫn mô hình trước tiên trích xuất các đoạn trích liên quan, sau đó dựa trên đó để xây dựng câu trả lời.

Ngoại hóa bộ nhớ: Retrieval-Augmented Generation (RAG)

Một phương pháp hoàn toàn khác — không đặt toàn bộ thông tin vào cửa sổ ngữ cảnh, mà chuyển nó ra hệ thống bên ngoài (cơ sở dữ liệu vector) và cung cấp theo yêu cầu.

  1. Truy xuất (Retrieve): Khi có yêu cầu, hệ thống tìm kiếm thông tin liên quan trong cơ sở dữ liệu bên ngoài.
  2. Bổ sung (Augment): Các đoạn tìm thấy được thêm vào yêu cầu ban đầu.
  3. Tạo sinh (Generate): LLM tạo ra câu trả lời dựa trên ngữ cảnh được cung cấp.

RAG cho phép làm việc với khối lượng dữ liệu gần như không giới hạn và cung cấp quyền truy cập vào thông tin mới và đã được xác minh, giúp giảm nguy cơ ảo giác và là giải pháp đáng tin cậy nhất hiện nay[11].

Tham khảo

  • Lost in the Middle: How Language Models Use Long Contexts — nghiên cứu gốc của Đại học Stanford.
  • Thông báo về Claude với cửa sổ ngữ cảnh 100K token từ Anthropic.

Tài liệu

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

Chú thích

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Sự_quên_theo_ngữ_cảnh&oldid=21069"