LLM benchmarks — LLM بینچ مارکس

From Systems analysis wiki
Jump to navigation Jump to search

بڑے لینگویج ماڈلز کے بینچ مارکس — یہ معیاری ٹیسٹوں کے مجموعے ہیں جو بڑے لینگویج ماڈلز (LLM) کے معیار اور صلاحیتوں کی پیمائش، موازنہ اور جانچ کے لیے تیار کیے گئے ہیں[1]۔ عام طور پر ہر benchmark ایک مقررہ کاموں کا مجموعہ ہوتا ہے (مثلاً سوالات، متون یا ہدایات)، جن کے درست جوابات یا جانچ کے معیار پہلے سے معلوم ہوتے ہیں۔ یہ طریقہ کار مختلف ماڈلز کا یکساں حالات میں معروضی موازنہ ممکن بناتا ہے، جس سے شعبے میں پیشرفت کو ٹریک کرنا اور ماڈلز کی خوبیوں اور کمزوریوں کو پہچاننا ممکن ہوتا ہے[2]۔

بینچ مارکس کا باقاعدہ استعمال LLM کی ترقی میں کلیدی کردار ادا کرتا ہے، کیونکہ یہ ڈویلپرز کو ماڈلز بہتر بنانے کی طرف راغب کرتا ہے اور سائنسی برادری میں نتائج کی شفافیت اور موازنہ پذیری کو یقینی بناتا ہے۔ بینچ مارکس کا ارتقاء خود LLM کی ترقی کی عکاسی کرتا ہے: زبان کی سادہ سمجھ کے کاموں سے لے کر کثیر مرحلاتی استدلال، عقلِ عام، اخلاقیات اور حفاظت کو جانچنے والے پیچیدہ ٹیسٹوں تک[3]۔

بنیادی اقسام اور مثالیں

LLM بینچ مارکس متنوع مہارتوں اور استعمال کے شعبوں کا احاطہ کرتے ہیں۔ ذیل میں بنیادی اقسام اور ہر قسم میں سب سے معروف ٹاسک سیٹس پر روشنی ڈالی گئی ہے۔

عمومی لسانی فہم

یہ قسم قدرتی زبان کو سمجھنے اور تشریح کرنے کی ماڈل کی بنیادی صلاحیتوں کا جائزہ لیتی ہے۔

  • GLUE (General Language Understanding Evaluation, 2019) — پہلے جامع بینچ مارکس میں سے ایک، جس میں متعدد مختلف النوع کام شامل ہیں: جذبات کی شناخت سے لے کر متن کی منطقی ہم آہنگی کی جانچ تک۔ تمام کاموں کے نتائج ایک مجموعی اسکور میں یکجا ہوتے ہیں، جس سے ابتدائی ماڈلز کا ان کی مجموعی کارکردگی کی بنیاد پر موازنہ ممکن ہوا[4]۔
  • SuperGLUE (2019) — GLUE کا مضبوط جانشین، جو اس لیے تیار کیا گیا کیونکہ ماڈلز نے GLUE پر جلد ہی انسانی سطح کے قریب نتائج حاصل کر لیے تھے۔ SuperGLUE میں زیادہ مشکل کام شامل ہیں جن کے لیے گہری سیاق و سباق کی سمجھ اور نتائج اخذ کرنے کی صلاحیت درکار ہے[5]۔
  • WinoGrande (2019) — Winograd Schema کوئز کا توسیع یافتہ ورژن۔ اس میں ابہام آمیز ضمائر کو حل کرنے کے 44 ہزار کام شامل ہیں جن کے لیے درست تشریح کے انتخاب میں عقلِ عام درکار ہے[6]۔

کثیر الکام اور جامع بینچ مارکس

یہ مجموعے ماڈلز کو علم اور مہارتوں کے وسیع دائرے پر جانچتے ہیں، محض لسانی کاموں سے آگے جا کر۔

  • MMLU (Massive Multitask Language Understanding, 2020) — کوئز کی صورت میں 57 موضوعاتی شعبوں پر مشتمل کاموں کا مجموعہ: اسکولی مضامین سے لے کر انتہائی تخصصی پیشہ ورانہ علم (قانون، طب) تک۔ MMLU ماڈل کی معلومات کی وسعت کی پیمائش کرتا ہے[7]۔
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — اپنی تخلیق کے وقت سب سے بڑا اشتراکی benchmark، جسے 400 سے زائد مصنفین نے تیار کیا۔ اس میں لسانیات سے طبیعیات تک مختلف موضوعات پر 200 سے زیادہ کام شامل ہیں، تاکہ ماڈلز کو سانچے کی مطابقت سے آگے جانچا جا سکے اور غیر معمولی حالات میں ان کی حدود معلوم کی جا سکیں[8]۔

عقلِ عام اور صداقت

یہ بینچ مارکس روزمرہ کے حالات کے بارے میں منطقی نتائج اخذ کرنے اور غلط معلومات پھیلانے سے بچنے کی ماڈل کی صلاحیت کا جائزہ لیتے ہیں۔

  • HellaSwag (2019) — کسی صورتحال کی تفصیل کے لیے سب سے قابلِ یقین اختتام کے انتخاب کے ذریعے عقلِ عام کی جانچ کرتا ہے۔ اس benchmark کی خصوصیت پھندوں کی موجودگی ہے: غلط جوابات خودکار طریقے سے تیار کیے گئے ہیں اور بہت قابلِ یقین لگتے ہیں، جس کے لیے ماڈل سے گہری سیاق و سباق کی سمجھ درکار ہے[9]۔
  • TruthfulQA (2021) — مشہور مفروضوں اور غلط فہمیوں کو پھیلانے کی ماڈل کی رجحان کی پیمائش کرتا ہے۔ اس میں ایسے سوالات شامل ہیں جہاں انٹرنیٹ پر مشہور جواب غلط ہوتا ہے (مثلاً کیا ویکسین آٹزم پیدا کرتی ہے؟)۔ ماڈل سے یہ توقع کی جاتی ہے کہ وہ جھوٹے تصورات کا شکار نہ ہو اور واقعاتی طور پر درست جواب دے[10]۔

ریاضی کے مسائل

  • GSM8K (2021) — ابتدائی اسکول کی سطح کے ریاضی کے ہزاروں متنی مسائل پر مشتمل ہے۔ ہر مسئلے کے حل کے لیے 2 سے 8 حسابی مراحل کی ضرورت ہوتی ہے، جس سے ماڈل کی کثیر مرحلاتی استدلال کی صلاحیت جانچی جاتی ہے[11]۔
  • MATH (2021) — ریاضی کے اولمپیاڈز اور مقابلوں کے مسائل پر مشتمل زیادہ مشکل مجموعہ۔ اس میں الجبرا، جیومیٹری اور نظریۂ اعداد کے حصے شامل ہیں، جس کے لیے ماڈل سے غیر معمولی حل کے طریقوں میں مہارت درکار ہے[12]۔

پروگرام کوڈ کی تیاری

  • HumanEval (2021) — LLM کی کوڈ لکھنے کی صلاحیت کو جانچنے کے لیے معیاری ٹیسٹ۔ اس میں Python میں پروگرامنگ کے 164 مسائل شامل ہیں، جہاں ماڈل کو دی گئی تفصیل کے مطابق درست کوڈ تیار کرنا ہوتا ہے۔ درستگی کا اندازہ unit tests کے ذریعے لگایا جاتا ہے[13]۔
  • SWE-bench (2023) — زیادہ حقیقت پسندانہ benchmark جو GitHub سے حقیقی مسائل (issues) کی تفصیلات اکٹھا کرتا ہے۔ ماڈل کو ایک patch (کوڈ کا ٹکڑا) تیار کرنا ہوتا ہے جو مسئلے کو حل کرے۔ اس کے لیے دوسروں کے کوڈ کی بڑی مقدار کو سمجھنا اور پیچیدہ مرحلہ وار استدلال درکار ہے[14]۔

مکالماتی ماڈلز کی جانچ

  • Chatbot Arena (2024) — ایک کھلا آن لائن پلیٹ فارم جہاں دو گمنام ماڈلز صارف کے ساتھ جوڑے میں مکالمے میں حصہ لیتے ہیں۔ مکالمے کے بعد صارف ووٹ دیتا ہے کہ کس کا جواب بہتر تھا۔ ہزاروں ایسی دوئیوں کی بنیاد پر صارف کی ترجیحات کی Elo درجہ بندی بنتی ہے، جو ماڈلز کے زندہ مکالمے میں معیار کو ظاہر کرتی ہے[15]۔
  • MT-Bench (2023) — مکالماتی مہارتوں کی stress testing کے لیے خودکار benchmark۔ اس میں کثیر مرحلاتی مکالمے کی نقل کرنے والے سوالوں کے 80 جوڑے ہیں۔ ماڈلز کے جوابات کسی دوسرے، زیادہ طاقتور LLM (LLM-as-a-judge، مثلاً GPT-4) کے ذریعے پہلے سے مقررہ پیمانے پر جانچے جاتے ہیں[16]۔

حفاظت اور اعتماد پذیری

  • AgentHarm (2024) — LLM ایجنٹس کی خطرناک ہدایات پر عمل کرنے کے رجحان کو جانچنے والا benchmark۔ اس میں 110 منظرنامے شامل ہیں جو بدنیتی پر مبنی کام پیش کرتے ہیں (دھوکہ دہی سے لے کر سائبر جرائم تک)۔ ایک اچھے ماڈل کو ایسی درخواستیں پوری کرنے سے انکار کرنا چاہیے[17]۔
  • SafetyBench (2023) — 11 ہزار سے زیادہ سوالوں کا وسیع مجموعہ جو یہ جانچتا ہے کہ ماڈل ناقابلِ قبول مواد اور نقصاندہ مشوروں کی تیاری سے کس حد تک مستقل طور پر گریز کرتا ہے، بشمول اشتعال انگیز درخواستوں کے[18]۔

حدود اور موجودہ مسائل

  • ڈیٹا آلودگی: جانچ کی درستگی کے لیے سب سے بڑا خطرہ تربیتی مجموعوں میں ٹیسٹ ڈیٹا کا لیک ہونا ہے۔ ماڈل محض جوابات یاد کر سکتا ہے، جس سے اس کا نتیجہ مصنوعی طور پر بڑھ جاتا ہے[2]۔
  • بینچ مارکس کی سنترپتی: جیسے جیسے ماڈلز ترقی کرتے ہیں، پرانے بینچ مارکس (جیسے GLUE) پر ان کی کارکردگی چھت تک پہنچ جاتی ہے اور ٹیسٹ نئے، زیادہ طاقتور ماڈلز میں فرق کرنے کے لیے کارآمد نہیں رہتا۔ اس کے لیے مسلسل زیادہ پیچیدہ معیارات کی تیاری ضروری ہے[2]۔
  • حقیقت سے فاصلہ: بینچ مارکس پر اعلیٰ نتائج ہمیشہ حقیقی، غیر منظم منظرناموں میں ماڈل کی قابلِ اعتماد کارکردگی کی ضمانت نہیں دیتے۔ حقیقی ماحول اکثر کسی بھی مقررہ ٹاسک سیٹ سے زیادہ متنوع اور غیر متوقع ہوتا ہے[1]۔

حوالہ جات

  • Open LLM Leaderboard — Hugging Face کمیونٹی کی طرف سے ماڈلز کی کھلی درجہ بندی
  • Chatbot Arena Leaderboard — انسانی ترجیحات کی بنیاد پر چیٹ ماڈلز کی درجہ بندی

نوٹس

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.ru/int/index.php?title=LLM_benchmarks_—_LLM_بینچ_مارکس&oldid=15887"