Оценка LLM

Оценка на големи езикови модели (LLM) — това е дисциплина в областта на изкуствения интелект, която осигурява стандартизирани методи за измерване на възможностите, ограниченията и рисковете на езиковите модели. Тъй като LLM се интегрират в ключови сфери като здравеопазване и финанси, тяхната обективна оценка става необходима за гарантиране на безопасност, надеждност и справедливост.

Оценката на LLM изпълнява няколко фундаментални функции:

• Измерване на възможностите: Обективно сравнение на производителността на различни модели върху стандартизирани задачи.
• Проследяване на прогреса: Фиксиране на постиженията и идентифициране на области, изискващи допълнително подобрение.
• Минимизиране на рисковете: Идентифициране на потенциално вредни резултати, като предубеденост, халюцинации и проблеми с безопасността.
• Информиране на разработчиците и потребителите: Предоставяне на прозрачна информация за избор на най-подходящия модел за конкретно приложение.

Основни подходи и методологии

Съвременната оценка на LLM започна с появата на комплексни benchmark-ове, като GLUE (General Language Understanding Evaluation), който установи стандарт за оценка на общото разбиране на езика. Тъй като моделите започнаха да надминават човешките резултати на GLUE, бяха разработени по-сложни приемници, като SuperGLUE.

Фундаментален обрат настъпи с въвеждането на многозадачни benchmark-ове като MMLU и BIG-bench, които тестват моделите върху широк спектър от знания и способности за разсъждение, излизайки извън рамките на чисто лингвистичните задачи.

Ключови метрики и benchmark-ове

Автоматични метрики

• Перплексия (Perplexity): Фундаментална метрика, измерваща колко добре моделът предсказва текст. По-ниската перплексия указва по-голяма увереност на модела в своите предсказания.
• BLEU и ROUGE: Метрики, базирани на n-грами, измерващи лексикалното съвпадение между генерирания и еталонния текст. BLEU се фокусира върху точността, ROUGE — върху пълнотата.
• BERTScore: Семантична метрика, използваща embedding-и от BERT за изчисляване на семантично сходство. Тя е способна да улавя синонимия и перифрази, което я прави по-прецизна от метриките, базирани на n-грами.

Специализирани benchmark-ове

За оценка на конкретни способности са разработени целеви benchmark-ове:

• Генериране на код: HumanEval оценява способността на модела да генерира коректен програмен код по текстово описание, проверявайки функционалността му с помощта на unit тестове.
• Здрав разум: HellaSwag тества разбирането на модела за физическия свят и причинно-следствените връзки чрез предсказване на най-вероятното окончание на битова ситуация.
• Академични знания: MMLU (Massive Multitask Language Understanding) обхваща 57 предмета, от елементарна математика до право и медицина, проверявайки широтата на ерудицията на модела.
• Граници на възможностите: BIG-bench (Beyond the Imitation Game) — това е колаборативен проект, обединяващ 204 задачи, разработени за идентифициране на емерджентни способности — умения, които внезапно се появяват при достигане на критични мащаби от модела.

Оценка на безопасността и етичните аспекти

• Предубеденост: За оценка на социалните и демографските предубеждения се използват dataset-и като BBQ (Bias Benchmark for Question Answering) и BOLD (Bias in Open-ended Language generation Dataset).
• Токсичност: Benchmark-ове като RealToxicityPrompts предоставят запитвания, провокиращи генерирането на токсично съдържание, за оценка на устойчивостта на модела.
• Робастност: Оценява се с помощта на адверсариални атаки. Фреймуъркът PromptRobust предоставя комплексен набор от запитвания за проверка на устойчивостта на модела на нивата на символите, думите и изреченията.

Съвременни стандарти и фреймуъркове

• HELM (Holistic Evaluation of Language Models): Инициатива на Станфордския университет, предлагаща „холистична" методология. HELM оценява моделите по множество измерения: точност, робастност, справедливост, предубеденост, токсичност и ефективност.
• ISO/IEC 42001:2023: Първият международен стандарт за системи за управление на ИИ, установяващ изисквания към управлението на ИИ през целия жизнен цикъл.
• Регламент на ЕС 2024/1689 (EU AI Act): Първата комплексна регулация на ИИ, изискваща стандартизирани оценки за модели с общо предназначение, носещи системни рискове.
• NIST AI Risk Management Framework 1.0: Доброволен фреймуърк за разработване и внедряване на надежден ИИ, разработен от Националния институт по стандарти и технологии на САЩ.

Проблеми и ограничения на съществуващите методи

• Насищане на benchmark-овете: Много модели достигат почти идеални показатели на популярни benchmark-ове, което води до явлението „надпревара с benchmark-овете", при която моделите се оптимизират за конкретни тестове, а не за общи възможности.
• Контаминация на данните: Критичен проблем, при който тестовите данни на benchmark-а случайно попадат в обучаващия набор, което води до завишени и нечестни резултати от оценката.
• Ниска корелация с човешките преценки: Автоматичните метрики като BLEU и ROUGE често слабо корелират с оценката за качество от страна на човека, особено при творчески и отворени задачи.

Актуални изследвания и тенденции

• Парадигмата LLM-as-a-Judge: Използване на мощни LLM (например GPT-4) като „съдии" за оценка на отговорите на други модели. Този подход осигурява мащабируема алтернатива на скъпоструващата човешка оценка.
• Динамична и адаптивна оценка: Платформи като LMArena представят система за крауд-сорсинг с рейтинги по Elo за реална оценка на моделите в живо взаимодействие с потребителите.
• Хибридни подходи: Комбиниране на автоматизирани метрики с човешка преценка и оценка от LLM за получаване на по-пълна и надеждна картина на производителността на модела.

Ландшафтът на оценката на LLM продължава да еволюира, движейки се към създаване на многомерни, стандартизирани и възпроизводими фреймуъркове, които отчитат не само точността, но и социалните и етичните аспекти на прилагането на технологиите на ИИ.

Връзки

• Stanford HELM — официален сайт на проекта Holistic Evaluation of Language Models.
• Chatbot Arena — платформа за сравнителна оценка на чат-ботове въз основа на човешки предпочитания.

Литература

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.