Các mô hình ngôn ngữ lớn của OpenAI

Các Mô hình Ngôn ngữ Lớn của OpenAI — đây là một loạt các mô hình ngôn ngữ lớn (LLM) được phát triển bởi phòng thí nghiệm nghiên cứu OpenAI. Các mô hình này, được xây dựng trên kiến trúc Transformer, đã trở thành nhân tố then chốt trong sự phát triển của trí tuệ nhân tạo tạo sinh. Bắt đầu từ mô hình GPT-1 được giới thiệu vào năm 2018, mỗi thế hệ tiếp theo, bao gồm GPT-2, GPT-3, GPT-4 và các hệ thống đa phương thức mới hơn như GPT-4o và dòng O-series, đã thể hiện sự tăng trưởng theo cấp số nhân về khả năng, quy mô và tầm ảnh hưởng.

Lịch sử OpenAI và triết lý phát triển

Sự thành lập và sứ mệnh ban đầu

Công ty OpenAI được thành lập vào ngày 11 tháng 12 năm 2015 với tư cách là một phòng thí nghiệm nghiên cứu phi lợi nhuận. Trong số những người sáng lập có các nhân vật nổi tiếng như Sam Altman, Elon Musk, Ilya Sutskever và Greg Brockman. Sứ mệnh ban đầu là tạo ra trí tuệ nhân tạo tổng quát (AGI) «an toàn và có ích» vì lợi ích của toàn nhân loại. Triết lý ban đầu của công ty nhấn mạnh vào tính cởi mở và hợp tác, với kế hoạch công bố tất cả các kết quả nghiên cứu trong các kho lưu trữ mở.

Chuyển đổi sang mô hình thương mại

Với sự tăng trưởng về quy mô của các mô hình và do đó là chi phí tính toán, vào năm 2019 OpenAI buộc phải xem xét lại cơ cấu của mình. Một công ty con thương mại OpenAI LP (Limited Partnership) đã được thành lập với mô hình «lợi nhuận có giới hạn». Bước đi này cho phép thu hút các khoản đầu tư lớn, trong đó quan trọng nhất là quan hệ đối tác với Microsoft, công ty đã đầu tư hàng tỷ đô la vào OpenAI và cung cấp quyền truy cập vào cơ sở hạ tầng đám mây Microsoft Azure. Sự chuyển đổi này đánh dấu sự dịch chuyển từ nghiên cứu hoàn toàn mở sang phát triển thương mại khép kín hơn, điều cần thiết để tài trợ cho việc đào tạo các mô hình thế hệ tiếp theo.

Các công nghệ và kiến trúc cốt lõi

Kiến trúc Transformer

Tất cả các mô hình trong dòng GPT đều dựa trên kiến trúc Transformer, được Google giới thiệu vào năm 2017. Kiến trúc này đã tạo ra cuộc cách mạng trong xử lý ngôn ngữ tự nhiên nhờ cơ chế tự chú ý (self-attention), cho phép mô hình đánh giá tầm quan trọng của các từ khác nhau trong câu và xử lý các chuỗi song song thay vì tuần tự như trong mạng nơ-ron hồi quy (RNN). Điều này tạo ra khả năng học hiệu quả trên các tập dữ liệu khổng lồ.

Phương pháp Decoder-only của GPT

Khác với kiến trúc Transformer đầy đủ bao gồm bộ mã hóa (encoder) và bộ giải mã (decoder), các mô hình GPT chỉ sử dụng phần decoder. Kiến trúc như vậy rất phù hợp với các tác vụ tạo sinh vì bản chất của nó là tự hồi quy — tức là dự đoán token tiếp theo dựa trên tất cả các token trước đó trong chuỗi. Cách tiếp cận này đã trở thành đặc trưng nổi bật của các mô hình GPT.

Các phương pháp huấn luyện

Sự phát triển của các mô hình GPT gắn liền với sự phát triển của các phương pháp huấn luyện:

• Tiền huấn luyện tự giám sát (Self-supervised Pre-training): Đây là giai đoạn cơ bản, trong đó mô hình được huấn luyện trên khối lượng văn bản chưa được gán nhãn khổng lồ (ví dụ: toàn bộ internet, sách vở) để giải quyết nhiệm vụ đơn giản — dự đoán từ tiếp theo. Điều này cho phép mô hình học ngữ pháp, cú pháp, các sự kiện về thế giới và các quy luật ngôn ngữ chung.
• Tinh chỉnh với Học tăng cường từ Phản hồi của Con người (RLHF): Bắt đầu từ InstructGPT và GPT-3.5, phương pháp này đã trở thành chìa khóa. Nó bao gồm một số giai đoạn:

1. Người gán nhãn viết các câu trả lời mẫu cho các yêu cầu khác nhau.
2. Mô hình tạo ra một số câu trả lời, và người gán nhãn xếp hạng chúng từ tốt nhất đến tệ nhất.
3. Dựa trên các xếp hạng này, một «mô hình phần thưởng» (reward model) được huấn luyện để dự đoán câu trả lời nào con người sẽ ưa thích.
4. Mô hình chính được tinh chỉnh bằng các thuật toán học tăng cường, sử dụng mô hình phần thưởng như một nguồn phản hồi để tạo ra các câu trả lời hữu ích hơn, trung thực hơn và an toàn hơn.

Sự tiến hóa của các mô hình GPT

GPT-1 (2018)

Mô hình đầu tiên trong dòng sản phẩm, được giới thiệu vào năm 2018.

• Tham số: 117 triệu.
• Kiến trúc: Transformer decoder 12 lớp.
• Huấn luyện: Được huấn luyện trên kho dữ liệu BookCorpus (~7000 cuốn sách chưa xuất bản).
• Đổi mới chính: Chứng minh hiệu quả của phương pháp hai giai đoạn (tiền huấn luyện + tinh chỉnh), đặt nền tảng cho tất cả các mô hình tiếp theo. Đã chứng minh rằng một mô hình duy nhất có thể được điều chỉnh cho nhiều tác vụ NLP mà không cần thay đổi kiến trúc.

GPT-2 (2019)

Mở rộng quy mô đáng kể so với GPT-1.

• Tham số: 1,5 tỷ (nhiều hơn GPT-1 ~10 lần).
• Kiến trúc: Transformer decoder 48 lớp.
• Huấn luyện: Được huấn luyện trên kho dữ liệu WebText (40 GB văn bản chất lượng cao được lọc từ internet).
• Đổi mới chính: Thể hiện khả năng học zero-shot ấn tượng, tức là giải quyết các tác vụ mà không cần tinh chỉnh đặc biệt. Có thể tạo ra các văn bản dài và mạch lạc. Việc phát hành nó đi kèm với cuộc thảo luận công khai về rủi ro lạm dụng, do đó OpenAI ban đầu chỉ công bố các phiên bản rút gọn của mô hình.

GPT-3 (2020)

Mô hình tạo ra bước đột phá về khả năng và nhận thức công chúng về LLM.

• Tham số: 175 tỷ (nhiều hơn GPT-2 ~100 lần).
• Kiến trúc: Transformer decoder 96 lớp.
• Huấn luyện: Được huấn luyện trên hỗn hợp các kho dữ liệu có dung lượng ~570 GB, bao gồm Common Crawl, sách và Wikipedia.
• Đổi mới chính: Xuất hiện khả năng học few-shot mạnh mẽ — mô hình có thể giải quyết các tác vụ chỉ với một vài ví dụ trong chính yêu cầu. GPT-3 là mô hình đầu tiên mà OpenAI cung cấp qua API thương mại, mở ra làn sóng bùng nổ các startup dựa trên AI tạo sinh.

InstructGPT và GPT-3.5 (2022)

Dòng mô hình tập trung vào cải thiện khả năng kiểm soát và tính hữu dụng.

• Tham số: Tương đương GPT-3 (~175 tỷ).
• Huấn luyện: Lần đầu tiên áp dụng rộng rãi phương pháp RLHF để dạy mô hình tuân theo hướng dẫn tốt hơn, trung thực hơn và ít độc hại hơn.
• Đổi mới chính: Tăng mạnh mẽ độ «tuân thủ» và an toàn của mô hình. Mô hình gpt-3.5-turbo đã tạo nền tảng cho bản phát hành đầu tiên của ChatGPT, được ra mắt vào ngày 30 tháng 11 năm 2022 và trở thành hiện tượng toàn cầu.

GPT-4 (2023)

Mô hình hàng đầu mới, đánh dấu sự chuyển đổi sang đa phương thức.

• Tham số: Không được công bố chính thức (ước tính ~1,7 nghìn tỷ, có thể với kiến trúc Mixture-of-Experts).
• Kiến trúc: Transformer đa phương thức.
• Huấn luyện: Được huấn luyện trên kho dữ liệu khổng lồ gồm văn bản và hình ảnh.
• Đổi mới chính: Đa phương thức — khả năng nhận đầu vào không chỉ là văn bản mà còn là hình ảnh. Thể hiện hiệu suất ở mức độ con người (và thậm chí cao hơn) trong nhiều bài kiểm tra chuyên môn và học thuật (ví dụ: kỳ thi luật sư).

GPT-4 Turbo (2023)

Phiên bản được tối ưu hóa và dễ tiếp cận hơn của GPT-4.

• Tham số: Tương tự GPT-4.
• Cửa sổ ngữ cảnh: Tăng lên 128.000 token (~300 trang văn bản).
• Huấn luyện: Kiến thức được cập nhật (đến tháng 4 năm 2023).
• Đổi mới chính: Giảm đáng kể chi phí gọi API, cải thiện khả năng tuân theo hướng dẫn và kiến thức cập nhật hơn, giúp sức mạnh của GPT-4 trở nên dễ tiếp cận với nhiều ứng dụng hơn.

GPT-4o (2024)

Mô hình «Omni» xử lý nhiều phương thức một cách tự nhiên.

• Đổi mới chính: Xử lý đa phương thức tự nhiên văn bản, âm thanh và hình ảnh theo thời gian thực trong một mô hình duy nhất. Điều này đảm bảo phản hồi rất nhanh và tự nhiên, tương đương với tốc độ của cuộc hội thoại con người. GPT-4o đã làm cho các khả năng ở mức GPT-4 trở nên dễ tiếp cận với người dùng miễn phí của ChatGPT.

Dòng O-series: o1 và o3 (2024-2025)

Thế hệ mô hình mới tập trung vào phát triển khả năng suy luận.

• Mô hình o1 (tháng 9 năm 2024): Được giới thiệu như một bước tiến đáng kể trong các chức năng nhận thức, cho phép giải quyết các vấn đề phức tạp hơn đòi hỏi phân tích sâu và suy luận nhiều bước.
• Mô hình o3 (tháng 1 năm 2025): Phát triển thêm các ý tưởng của o1 với kết quả cao hơn trong các bài kiểm tra logic và toán học phức tạp (ví dụ: 96,7% trong kỳ thi AIME 2024).
• Đổi mới chính: Tập trung không chỉ vào việc tạo văn bản mà còn xây dựng các chuỗi logic (Chain-of-Thought) và giải quyết các vấn đề phức tạp, đưa AI đến gần hơn với tư duy trừu tượng hơn.

Các mô hình chuyên biệt

Ngoài dòng GPT chính, OpenAI đã phát triển một số mô hình cho các tác vụ cụ thể:

• DALL-E: Dòng mô hình (2021-nay) tạo hình ảnh từ mô tả văn bản. Sử dụng kết hợp transformer và mô hình khuếch tán để tạo ra hình ảnh thực tế và cách điệu.
• Codex và GitHub Copilot: Phiên bản GPT-3 được tinh chỉnh trên hàng tỷ dòng code. Trở thành nền tảng cho GitHub Copilot (2021) — công cụ tự động hoàn thành code đã thay đổi căn bản quy trình phát triển phần mềm.
• Whisper: Mô hình nhận dạng và phiên âm giọng nói độ chính xác cao (2022). Được huấn luyện trên 680.000 giờ dữ liệu âm thanh, cho phép nó hoạt động với nhiều ngôn ngữ, giọng điệu khác nhau và trong điều kiện tiếng ồn nền.
• Sora: Mô hình tạo video từ mô tả văn bản (công bố năm 2024). Có thể tạo ra các video chất lượng cao, nhất quán về mặt phong cách và logic với thời lượng lên đến một phút.

Bảng tổng hợp các mô hình

So sánh các mô hình OpenAI GPT chính

Mô hình	Năm phát hành	Tham số (ước tính)	Kích thước cửa sổ ngữ cảnh	Các đổi mới chính
GPT-1	2018	117 triệu	512 token	Mô hình «tiền huấn luyện + tinh chỉnh», hiệu quả của transformer.
GPT-2	2019	1,5 tỷ	1024 token	Học zero-shot, tạo văn bản dài mạch lạc.
GPT-3	2020	175 tỷ	2048 token	Học few-shot, tính linh hoạt, API thương mại.
GPT-3.5	2022	≈175 tỷ	4096 / 16.000 token	Huấn luyện với RLHF, cải thiện khả năng tuân theo hướng dẫn, nền tảng cho ChatGPT.
GPT-4	2023	≈1,7 nghìn tỷ	8.192 / 32.768 token	Đa phương thức (văn bản+hình ảnh), hiệu suất ở mức độ con người.
GPT-4o	2024	Không công bố	128.000 token	Đa phương thức tự nhiên (văn bản, âm thanh, hình ảnh), tương tác theo thời gian thực.
o1 / o3	2024-2025	Không công bố	128.000 token	Tập trung vào khả năng suy luận nâng cao và giải quyết các vấn đề phức tạp.

Các khía cạnh đạo đức, pháp lý và xã hội

Sự phát triển và phổ biến của các mô hình GPT đã gây ra các cuộc thảo luận xã hội rộng rãi.

• Thông tin sai lệch và nội dung có hại: Khả năng của các mô hình trong việc tạo ra các văn bản thuyết phục tạo ra rủi ro bị sử dụng để tạo ra tin tức giả, tuyên truyền và lừa đảo. OpenAI triển khai các bộ lọc an toàn, nhưng vấn đề vượt qua các hạn chế (jailbreaking) vẫn còn hiện diện.
• Bản quyền: Các mô hình được huấn luyện trên dữ liệu từ internet, bao gồm các tài liệu được bảo vệ bản quyền. Điều này đã dẫn đến các vụ kiện từ các tác giả và tòa soạn báo (ví dụ: The New York Times) với cáo buộc vi phạm bản quyền. Kết quả của các vụ kiện này sẽ xác định tương lai của việc huấn luyện LLM.
• Bảo mật dữ liệu: Có những rủi ro về việc mô hình vô tình sao chép dữ liệu cá nhân từ kho dữ liệu huấn luyện. Ngoài ra, dữ liệu người dùng nhập vào ChatGPT có thể được sử dụng để huấn luyện thêm, điều này đã gây lo ngại cho các cơ quan quản lý (ví dụ: tại Ý vào năm 2023).
• Tác động đến thị trường lao động: Việc tự động hóa các tác vụ liên quan đến việc tạo văn bản, code và phân tích thông tin có thể thay đổi nghề nghiệp của người viết nội dung, lập trình viên, nhà phân tích và những người khác. Trong ngắn hạn, các mô hình đóng vai trò như «phi công phụ», tăng cường năng suất, nhưng về lâu dài — có thể dẫn đến tự động hóa hoàn toàn một số vai trò.
• Rủi ro tồn tại và an toàn AI: Trong nội bộ OpenAI và trong cộng đồng khoa học đang diễn ra các cuộc tranh luận về các rủi ro lâu dài liên quan đến việc tạo ra siêu trí tuệ (AGI). Công ty tuyên bố cam kết phát triển an toàn, đã thành lập các nhóm như Superalignment để giải quyết vấn đề kiểm soát các hệ thống mạnh mẽ hơn trong tương lai.

Tài liệu tham khảo

• Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Liên kết

• Trang web chính thức của OpenAI