OpenAI's large language models — โมเดลภาษาขนาดใหญ่ของ OpenAI

โมเดลภาษาขนาดใหญ่ของ OpenAI — คือชุดของโมเดลภาษาขนาดใหญ่ (LLM) ที่พัฒนาโดยห้องปฏิบัติการวิจัย OpenAI โมเดลเหล่านี้สร้างขึ้นบนสถาปัตยกรรม Transformer และกลายเป็นปัจจัยสำคัญในการพัฒนา Generative AI นับตั้งแต่โมเดล GPT-1 ที่เปิดตัวในปี 2018 แต่ละรุ่นที่ตามมา ไม่ว่าจะเป็น GPT-2, GPT-3, GPT-4 และระบบมัลติโมดัลที่ใหม่กว่า เช่น GPT-4o และตระกูล O-series ต่างแสดงให้เห็นการเติบโตแบบทวีคูณในด้านความสามารถ ขนาด และอิทธิพล

ประวัติของ OpenAI และปรัชญาการพัฒนา

การก่อตั้งและพันธกิจในช่วงแรก

บริษัท OpenAI ก่อตั้งขึ้นเมื่อวันที่ 11 ธันวาคม 2015 ในฐานะห้องปฏิบัติการวิจัยไม่แสวงหากำไร ในบรรดาผู้ก่อตั้งมีบุคคลสำคัญ เช่น Sam Altman, Elon Musk, Ilya Sutskever และ Greg Brockman พันธกิจดั้งเดิมคือการสร้าง AI ทั่วไป (AGI) ที่ «ปลอดภัยและเป็นประโยชน์» เพื่อประโยชน์ของมนุษยชาติทั้งหมด ปรัชญายุคแรกของบริษัทเน้นความเปิดกว้างและความร่วมมือ โดยวางแผนที่จะเผยแพร่ผลงานทั้งหมดในแหล่งเก็บข้อมูลแบบเปิด

การเปลี่ยนผ่านสู่โมเดลเชิงพาณิชย์

เมื่อขนาดของโมเดลขยายตัวขึ้นและค่าใช้จ่ายในการคำนวณที่ตามมาเพิ่มสูงขึ้น ในปี 2019 OpenAI จึงถูกบังคับให้ทบทวนโครงสร้างองค์กร มีการจัดตั้งบริษัทในเครือเชิงพาณิชย์ OpenAI LP (Limited Partnership) โดยใช้โมเดล «กำไรจำกัด» ก้าวนี้ทำให้สามารถดึงดูดการลงทุนขนาดใหญ่ได้ โดยที่สำคัญที่สุดคือความร่วมมือกับ Microsoft ซึ่งลงทุนใน OpenAI หลายพันล้านดอลลาร์และให้การเข้าถึงโครงสร้างพื้นฐานคลาวด์ Microsoft Azure การเปลี่ยนผ่านนี้หมายถึงการเคลื่อนออกจากการวิจัยแบบเปิดอย่างสมบูรณ์สู่การพัฒนาเชิงพาณิชย์ที่ปิดกว้างมากขึ้น ซึ่งจำเป็นสำหรับการจัดหาเงินทุนเพื่อการฝึกโมเดลรุ่นต่อไป

เทคโนโลยีหลักและสถาปัตยกรรม

สถาปัตยกรรม Transformer

โมเดลทั้งหมดในตระกูล GPT ถูกสร้างขึ้นบนสถาปัตยกรรม Transformer ที่ Google เปิดตัวในปี 2017 สถาปัตยกรรมนี้ปฏิวัติการประมวลผลภาษาธรรมชาติด้วยกลไก self-attention ซึ่งช่วยให้โมเดลสามารถถ่วงน้ำหนักความสำคัญของคำต่าง ๆ ในประโยคและประมวลผลลำดับแบบขนานแทนที่จะเป็นแบบต่อเนื่องเหมือนใน Recurrent Neural Network (RNN) สิ่งนี้เปิดโอกาสให้ฝึกโมเดลได้อย่างมีประสิทธิภาพบนข้อมูลจำนวนมหาศาล

แนวทาง Decoder-only ของ GPT

ต่างจากสถาปัตยกรรม Transformer แบบเต็มรูปแบบที่ประกอบด้วย encoder และ decoder โมเดล GPT ใช้เฉพาะ ส่วน decoder เท่านั้น สถาปัตยกรรมนี้เหมาะอย่างยิ่งสำหรับงานเชิงสร้างสรรค์ เนื่องจากมีลักษณะ autoregressive โดยธรรมชาติ — กล่าวคือ ทำนาย token ถัดไปโดยอาศัย token ก่อนหน้าทั้งหมดในลำดับ แนวทางนี้กลายเป็นเอกลักษณ์ของโมเดล GPT

วิธีการฝึก

วิวัฒนาการของโมเดล GPT มีความเชื่อมโยงอย่างใกล้ชิดกับการพัฒนาวิธีการฝึก:

• Self-supervised Pre-training: นี่คือขั้นตอนพื้นฐานที่โมเดลเรียนรู้จากข้อความที่ไม่มีป้ายกำกับจำนวนมหาศาล (เช่น เนื้อหาทั้งหมดบนอินเทอร์เน็ต หนังสือ) เพื่อแก้ปัญหาง่าย ๆ — ทำนายคำถัดไป สิ่งนี้ช่วยให้โมเดลเรียนรู้ไวยากรณ์ วากยสัมพันธ์ ข้อเท็จจริงเกี่ยวกับโลก และรูปแบบภาษาทั่วไป
• Reinforcement Learning from Human Feedback (RLHF): เริ่มตั้งแต่ InstructGPT และ GPT-3.5 วิธีนี้กลายเป็นกุญแจสำคัญ โดยมีหลายขั้นตอน:

1. ผู้ใส่คำอธิบายประกอบที่เป็นมนุษย์เขียนคำตอบอ้างอิงสำหรับคำขอต่าง ๆ
2. โมเดลสร้างคำตอบหลายรายการ และผู้ใส่คำอธิบายประกอบจัดอันดับจากดีที่สุดไปแย่ที่สุด
3. จากการจัดอันดับเหล่านี้จะฝึก «reward model» ซึ่งเรียนรู้ที่จะทำนายว่ามนุษย์จะชอบคำตอบใด
4. โมเดลหลักได้รับการ fine-tuning ด้วยอัลกอริทึม Reinforcement Learning โดยใช้ reward model เป็นแหล่งข้อมูลป้อนกลับ เพื่อสร้างคำตอบที่มีประโยชน์ ซื่อสัตย์ และปลอดภัยมากขึ้น

วิวัฒนาการของโมเดล GPT

GPT-1 (2018)

โมเดลแรกในชุด เปิดตัวในปี 2018

• พารามิเตอร์: 117 ล้าน
• สถาปัตยกรรม: Transformer-decoder 12 ชั้น
• การฝึก: ฝึกบน corpus BookCorpus (หนังสือที่ยังไม่ได้ตีพิมพ์ประมาณ 7,000 เล่ม)
• นวัตกรรมหลัก: แสดงให้เห็นถึงประสิทธิผลของแนวทางสองขั้นตอน (pre-training + fine-tuning) วางรากฐานสำหรับโมเดลทั้งหมดที่ตามมา พิสูจน์ว่าโมเดลเดียวสามารถปรับใช้กับงาน NLP หลายอย่างได้โดยไม่ต้องเปลี่ยนสถาปัตยกรรม

GPT-2 (2019)

การขยายขนาดอย่างมีนัยสำคัญเมื่อเทียบกับ GPT-1

• พารามิเตอร์: 1.5 พันล้าน (มากกว่า GPT-1 ประมาณ 10 เท่า)
• สถาปัตยกรรม: Transformer-decoder 48 ชั้น
• การฝึก: ฝึกบน corpus WebText (ข้อความคุณภาพสูง 40 GB ที่กรองมาจากอินเทอร์เน็ต)
• นวัตกรรมหลัก: แสดงให้เห็นความสามารถที่น่าประทับใจในการเรียนรู้แบบ zero-shot นั่นคือ การแก้ปัญหาโดยไม่ต้องมีการ fine-tuning พิเศษ สามารถสร้างข้อความที่ยาวและสอดคล้องกัน การเปิดตัวของโมเดลนี้มาพร้อมกับการถกเถียงในสาธารณะเกี่ยวกับความเสี่ยงของการนำไปใช้ในทางที่ผิด ทำให้ OpenAI เผยแพร่เฉพาะเวอร์ชันที่ตัดทอนในตอนแรก

GPT-3 (2020)

โมเดลที่สร้างความก้าวหน้าครั้งสำคัญในด้านความสามารถและการรับรู้ของสาธารณชนต่อ LLM

• พารามิเตอร์: 175 พันล้าน (มากกว่า GPT-2 ประมาณ 100 เท่า)
• สถาปัตยกรรม: Transformer-decoder 96 ชั้น
• การฝึก: ฝึกบน corpus ผสมขนาดประมาณ 570 GB รวมถึง Common Crawl, หนังสือ และ Wikipedia
• นวัตกรรมหลัก: การเกิดขึ้นของความสามารถในการเรียนรู้แบบ few-shot ที่แข็งแกร่ง — โมเดลสามารถแก้ปัญหาได้โดยรับตัวอย่างเพียงไม่กี่รายการในคำขอ GPT-3 เป็นโมเดลแรกที่ OpenAI เปิดให้ใช้งานผ่าน API เชิงพาณิชย์ ซึ่งจุดประกายการเติบโตของ startup ที่ใช้ Generative AI

InstructGPT และ GPT-3.5 (2022)

ตระกูลโมเดลที่มุ่งเน้นการปรับปรุงความสามารถในการควบคุมและประโยชน์ใช้สอย

• พารามิเตอร์: เทียบเคียงได้กับ GPT-3 (ประมาณ 175 พันล้าน)
• การฝึก: ใช้วิธี RLHF เป็นครั้งแรกในวงกว้าง เพื่อสอนให้โมเดลปฏิบัติตามคำสั่งได้ดีขึ้น มีความน่าเชื่อถือมากขึ้น และมีความเป็นพิษน้อยลง
• นวัตกรรมหลัก: การเพิ่มขึ้นอย่างมากของ «ความเชื่อฟัง» และความปลอดภัยของโมเดล โมเดล gpt-3.5-turbo เป็นรากฐานของการเปิดตัว ChatGPT ครั้งแรก ซึ่งเปิดให้บริการเมื่อวันที่ 30 พฤศจิกายน 2022 และกลายเป็นปรากฏการณ์ระดับโลก

GPT-4 (2023)

โมเดลเรือธงใหม่ที่เป็นสัญลักษณ์ของการเปลี่ยนผ่านสู่ความเป็น Multimodal

• พารามิเตอร์: ไม่เปิดเผยอย่างเป็นทางการ (ประมาณการณ์ที่ประมาณ 1.7 ล้านล้าน อาจใช้สถาปัตยกรรม Mixture-of-Experts)
• สถาปัตยกรรม: Multimodal Transformer
• การฝึก: ฝึกบน corpus ข้อความและรูปภาพขนาดใหญ่
• นวัตกรรมหลัก: ความเป็น Multimodal — ความสามารถในการรับ input ไม่เพียงแค่ข้อความ แต่รวมถึงรูปภาพด้วย แสดงประสิทธิภาพในระดับมนุษย์ (และสูงกว่า) ในการทดสอบวิชาชีพและวิชาการหลายรายการ (เช่น การสอบทนายความ)

GPT-4 Turbo (2023)

เวอร์ชันที่ได้รับการปรับปรุงและเข้าถึงได้ง่ายขึ้นของ GPT-4

• พารามิเตอร์: เทียบเคียงได้กับ GPT-4
• Context Window: ขยายเป็น 128,000 token (ประมาณ 300 หน้าข้อความ)
• การฝึก: ความรู้ที่อัปเดต (ถึงเดือนเมษายน 2023)
• นวัตกรรมหลัก: การลดต้นทุนการเรียก API อย่างมีนัยสำคัญ การปฏิบัติตามคำสั่งที่ดีขึ้น และความรู้ที่ทันสมัยกว่า ทำให้ประสิทธิภาพของ GPT-4 เข้าถึงได้สำหรับแอปพลิเคชันในวงกว้างมากขึ้น

GPT-4o (2024)

«Omni-model» ที่ประมวลผลหลายโหมดแบบ native

• นวัตกรรมหลัก: การประมวลผล Multimodal แบบ native สำหรับข้อความ เสียง และรูปภาพแบบเรียลไทม์ภายในโมเดลเดียว สิ่งนี้ให้การตอบสนองที่รวดเร็วและเป็นธรรมชาติมาก เทียบได้กับความเร็วของการสนทนาของมนุษย์ GPT-4o ทำให้ความสามารถระดับ GPT-4 พร้อมใช้งานสำหรับผู้ใช้ ChatGPT ฟรี

ตระกูล O-series: o1 และ o3 (2024-2025)

โมเดลรุ่นใหม่ที่มุ่งเน้นการพัฒนาความสามารถในการ reasoning

• โมเดล o1 (กันยายน 2024): นำเสนอในฐานะก้าวสำคัญในด้านการทำงานทางปัญญา ช่วยให้สามารถแก้ปัญหาที่ซับซ้อนยิ่งขึ้นซึ่งต้องการการวิเคราะห์เชิงลึกและการ reasoning หลายขั้นตอน
• โมเดล o3 (มกราคม 2025): การพัฒนาต่อยอดแนวคิดของ o1 โดยมีคะแนนที่สูงขึ้นในการทดสอบตรรกะและคณิตศาสตร์ที่ซับซ้อน (เช่น 96.7% ในการสอบ AIME 2024)
• นวัตกรรมหลัก: เน้นไม่เพียงแค่การสร้างข้อความ แต่การสร้างลำดับตรรกะ (Chain-of-Thought) และการแก้ปัญหาที่ซับซ้อน ซึ่งทำให้ AI เข้าใกล้การคิดเชิงนามธรรมมากขึ้น

โมเดลเฉพาะทาง

นอกจากกลุ่มผลิตภัณฑ์หลัก GPT แล้ว OpenAI ยังได้พัฒนาโมเดลหลายรายการสำหรับงานเฉพาะ:

• DALL-E: ชุดโมเดล (2021-ปัจจุบัน) สำหรับการสร้างรูปภาพจากคำอธิบายข้อความ ใช้การรวมกันของ Transformer และ diffusion model เพื่อสร้างภาพที่สมจริงและมีสไตล์
• Codex และ GitHub Copilot: เวอร์ชันของ GPT-3 ที่ได้รับการ fine-tuning บนโค้ดหลายพันล้านบรรทัด เป็นรากฐานของ GitHub Copilot (2021) — เครื่องมือเติมโค้ดอัตโนมัติที่เปลี่ยนแปลงกระบวนการพัฒนาซอฟต์แวร์อย่างพื้นฐาน
• Whisper: โมเดลความแม่นยำสูงสำหรับการรู้จำเสียงพูดและถอดเสียง (2022) ฝึกบนข้อมูลเสียง 680,000 ชั่วโมง ทำให้ทำงานได้กับหลายภาษา สำเนียง และในสภาวะที่มีเสียงรบกวน
• Sora: โมเดลสำหรับการสร้างวิดีโอจากคำอธิบายข้อความ (ประกาศในปี 2024) สามารถสร้างวิดีโอคุณภาพสูงที่มีสไตล์สอดคล้องและลำดับเหตุการณ์สมเหตุสมผล ความยาวสูงสุดหนึ่งนาที

ตารางสรุปโมเดล

การเปรียบเทียบโมเดล OpenAI GPT หลัก

โมเดล	ปีที่เปิดตัว	พารามิเตอร์ (ประมาณ)	ขนาด Context Window	นวัตกรรมหลัก
GPT-1	2018	117 ล้าน	512 token	กระบวนทัศน์ «pre-training + fine-tuning» ประสิทธิผลของ Transformer
GPT-2	2019	1.5 พันล้าน	1024 token	Zero-shot learning การสร้างข้อความยาวที่สอดคล้องกัน
GPT-3	2020	175 พันล้าน	2048 token	Few-shot learning ความเป็นสากล API เชิงพาณิชย์
GPT-3.5	2022	≈175 พันล้าน	4096 / 16,000 token	การฝึกด้วย RLHF การปฏิบัติตามคำสั่งที่ดีขึ้น รากฐานของ ChatGPT
GPT-4	2023	≈1.7 ล้านล้าน	8,192 / 32,768 token	ความเป็น Multimodal (ข้อความ+รูปภาพ) ประสิทธิภาพระดับมนุษย์
GPT-4o	2024	ไม่เปิดเผย	128,000 token	Multimodal แบบ native (ข้อความ เสียง รูปภาพ) การโต้ตอบแบบเรียลไทม์
o1 / o3	2024-2025	ไม่เปิดเผย	128,000 token	เน้นความสามารถ reasoning ขั้นสูงและการแก้ปัญหาที่ซับซ้อน

ประเด็นด้านจริยธรรม กฎหมาย และสังคม

การพัฒนาและการแพร่กระจายของโมเดล GPT ก่อให้เกิดการถกเถียงอย่างกว้างขวางในสังคม

• ข้อมูลเท็จและเนื้อหาที่เป็นอันตราย: ความสามารถของโมเดลในการสร้างข้อความที่น่าเชื่อถือก่อให้เกิดความเสี่ยงที่จะถูกนำไปใช้สร้างข่าวปลอม การโฆษณาชวนเชื่อ และ phishing OpenAI ใช้ตัวกรองความปลอดภัย แต่ปัญหาการหลบเลี่ยงข้อจำกัด (jailbreaking) ยังคงมีอยู่
• ลิขสิทธิ์: โมเดลได้รับการฝึกบนข้อมูลจากอินเทอร์เน็ต รวมถึงเนื้อหาที่ได้รับการคุ้มครองลิขสิทธิ์ สิ่งนี้นำไปสู่การฟ้องร้องจากนักเขียนและสำนักพิมพ์ (เช่น The New York Times) โดยกล่าวหาว่ามีการละเมิดลิขสิทธิ์ ผลลัพธ์ของคดีเหล่านี้จะกำหนดอนาคตของการฝึก LLM
• ความเป็นส่วนตัวของข้อมูล: มีความเสี่ยงที่โมเดลจะทำซ้ำข้อมูลส่วนบุคคลจาก corpus การฝึกโดยไม่ได้ตั้งใจ นอกจากนี้ข้อมูลที่ผู้ใช้ป้อนใน ChatGPT อาจถูกนำไปใช้สำหรับการฝึกเพิ่มเติม ซึ่งทำให้หน่วยงานกำกับดูแลกังวล (เช่น ในอิตาลีในปี 2023)
• ผลกระทบต่อตลาดแรงงาน: การทำให้งานที่เกี่ยวข้องกับการสร้างข้อความ โค้ด และการวิเคราะห์ข้อมูลเป็นอัตโนมัติ อาจเปลี่ยนแปลงอาชีพของนักเขียน นักพัฒนา นักวิเคราะห์ และอื่น ๆ ในระยะสั้น โมเดลทำหน้าที่เป็น «ผู้ช่วยนักบิน» เพิ่มประสิทธิภาพการทำงาน แต่ในระยะยาวอาจนำไปสู่การทำให้บทบาทบางอย่างเป็นอัตโนมัติอย่างสมบูรณ์
• ความเสี่ยงเชิงอัตถิภาวนิยมและความปลอดภัยของ AI: ภายใน OpenAI และในชุมชนวิทยาศาสตร์มีการถกเถียงเกี่ยวกับความเสี่ยงในระยะยาวที่เกี่ยวข้องกับการสร้าง superintelligence (AGI) บริษัทประกาศความมุ่งมั่นในการพัฒนาอย่างปลอดภัย โดยจัดตั้งทีมอย่าง Superalignment เพื่อแก้ปัญหาการควบคุมระบบที่มีความสามารถมากขึ้นในอนาคต

เอกสารอ้างอิง

• Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

ลิงก์ภายนอก

• เว็บไซต์ทางการของ OpenAI