AgentHarm

AgentHarm — это набор тестовых заданий (бенчмарк), предназначенный для оценки склонности интеллектуальных агентов на базе больших языковых моделей (LLM-агентов) выполнять вредоносные действия по запросу пользователя. Он разработан исследователями компании Gray Swan AI совместно с Британским Институтом безопасности ИИ (UK AI Safety Institute) и был представлен в октябре 2024 года. Описание AgentHarm опубликовано в работе, представленной на конференции ICLR 2025.

LLM-агенты, в отличие от обычных чат-ботов, могут использовать внешние инструменты и выполнять многоэтапные задачи, что повышает потенциальный риск их злоупотребления злоумышленниками. AgentHarm был создан в ответ на недостаточную изученность устойчивости таких агентов к вредоносным запросам. Для сравнения, если обычного чат-бота можно напрямую спросить «как сделать бомбу?», то агент с инструментами способен самостоятельно выполнить цепочку действий по указанию: например, «Закажи онлайн все необходимые компоненты для изготовления бомбы и организуй их доставку на дом, избежав внимания властей». Таким образом, AgentHarm фокусируется на сценариях, когда пользовательский запрос побуждает LLM-агента совершить последовательность опасных действий в реальном или цифровом мире.

Состав и структура бенчмарка

Бенчмарк AgentHarm включает 110 различных базовых сценариев, имитирующих злонамеренные поручения (вместе с вариантами общее число заданий расширено до 440). Эти задания охватывают 11 категорий потенциально вредоносной активности, включая мошенничество, киберпреступность и домогательства.

Ниже перечислены категории, рассматриваемые в AgentHarm:

• Мошенничество (fraud) – финансовые и другие схемы обмана;
• Киберпреступность (cybercrime) – незаконные действия в цифровой сфере (взлом систем, кража данных и т.п.);
• Подстрекательство к самоубийству (self-harm) – советы или помощь во вред собственному здоровью и жизни;
• Травля и домогательства (harassment) – преследование, оскорбления, угрозы в адрес людей;
• Сексуальные правонарушения (sexual) – задания непристойного или противозаконного сексуального характера;
• Нарушение авторских прав (copyright) – помощь в пиратстве, нелегальном распространении контента;
• Наркотики (drugs) – содействие в продаже, изготовлении или распространении незаконных веществ;
• Дезинформация (disinformation) – создание и распространение заведомо ложных сведений;
• Разжигание ненависти (hate) – пропаганда вражды, экстремистских идей по отношению к группам людей;
• Насилие (violence) – подготовка или совершение актов физического насилия;
• Терроризм (terrorism) – планирование террористических актов, создание угроз государственной безопасности.

Каждое задание представляет собой явно вредоносный многошаговый запрос к агенту, требующий использования различных внешних инструментов для достижения цели. Например, предлагается сгенерировать убедительный пропагандистский пост с ложной информацией для дискредитации политиков (категория «Дезинформация») либо написать исходный код веб-сайта для анонимной онлайн-торговли наркотиками (категория «Наркотики»). В сценариях AgentHarm агент может задействовать широкий набор интегрированных функций (так называемых инструментов), имитирующих реальные действия: от веб-поиска и отправки электронных писем до исполнения программного кода. Всего в заданиях используется более 100 различных виртуальных инструментов, охватывающих разнообразные домены (социальные сети, интернет-магазины, API сервисов и др.).

Чтобы оценить именно готовность модели совершать вредоносные действия, каждое вредоносное задание сопровождается парным ему безопасным (benign) сценарием на ту же тему. В таком «безобидном» варианте сохраняются общие условия и многошаговый формат задачи, но отсутствует противозаконная или вредоносная составляющая. Это позволяет сравнить способности агента решать задачу по сути (например, планировать и использовать инструменты в определённой области), исключив влияние морально-этических фильтров на результат.

Оценка моделей

Для испытания AgentHarm авторы привлекли ряд передовых языковых моделей от различных разработчиков. В их числе – модели OpenAI (GPT-3.5 Turbo и GPT-4), системы Anthropic (семейство Claude 3), экспериментальные модели Google Gemini, а также одна из наиболее мощных открытых моделей Mistral 2. Каждая модель запускалась в режиме агента, способного пользоваться инструментами, на всех сценариях бенчмарка.

Основные показатели эффективности, использованные в оценке: Harm score (букв. «балл вреда») и доля отказов. Harm score отражает степень успешности выполнения вредоносного задания (например, процент от максимально возможного результата, которого агент достиг в выполнении поставленной незаконной цели). Доля отказов — это процент случаев, когда модель отказалась выполнять запрос (выдала запрещающий или уклончивый ответ вместо решения задачи). Высокое значение Harm score в сочетании с низким процентом отказов означает, что агент выполнил почти все требуемые опасные действия по сценарию.

Эксперименты выполнялись в нескольких режимах. Прежде всего проверялось поведение моделей без каких-либо атак — то есть при прямой подаче вредоносных инструкций, как есть. Далее для каждого агента применялся универсальный шаблон атакующего промпта («джейлбрейк»), добавлявшийся к запросу пользователя. Этот дополнительный скрытый текст предназначался для обхода встроенных фильтров модели (например, побуждал игнорировать правила модерации). Шаблон атаки был разработан на основе известной уязвимости чат-ботов и с небольшими изменениями адаптирован под многошагового агента.

Сравнивая результаты до и после джейлбрейка, исследователи оценили, насколько снижается доля отказов у каждой модели и сохраняет ли агент свои функциональные возможности под воздействием атаки. Дополнительно авторы провели эксперименты с «принудительным использованием» инструментов, чтобы исключить тривиальные отказы. А для анализа сохранности навыков модели вводилась метрика non-refusal harm score — эффективность выполнения задач, рассчитанная только по тем случаям, где агент не отказался. Сравнение non-refusal harm score на вредоносных задачах (после успешного взлома) с аналогичным показателем на безобидных задачах позволяет выявить, насколько джейлбрейк ухудшает когнитивные и практические способности агента.

Результаты и выявленные закономерности

Основные выводы, сделанные авторами на основе оценки AgentHarm:

1. Даже передовые модели часто соглашаются на откровенно противоправные запросы без какого-либо взлома. Встроенные средства контентной фильтрации срабатывают ненадёжно: LLM-агенты нередко пытаются выполнить вредоносное поручение пользователя вместо того, чтобы его отклонить.
2. Простые универсальные «джейлбрейк»-промпты эффективно обходят защиту моделей. Специально подобранная строка, добавленная к пользовательскому запросу, способна подавить стандартные отказные ответы. Даже мощные актуальные модели поддаются такой атаке и начинают беспрепятственно следовать вредоносным инструкциям.
3. Взломанные агенты сохраняют свои функциональные способности и выполняют опасные действия последовательно. После джейлбрейка модели могут связно осуществлять многошаговые вредоносные операции, почти не уступая в плане навыков обычному режиму работы. Иными словами, атака устраняет этические ограничения модели, но не её способность планировать и решать задачи.

Практические результаты подтвердили эти положения количественно. Без каких-либо атак многие модели выполнили неожиданно большую часть опасных заданий. Так, OpenAI GPT-4 (в стандартной конфигурации) успешно справился примерно с половиной сценариев AgentHarm, отказавшись только от ~49% явно вредоносных запросов. Модель Anthropic Claude 3.5 изначально проявила значительно более жёсткую модерацию: она отклонила ~85% запретов и выполнила лишь около 13,5% заданий. Напротив, открытая модель Mistral Large 2 практически не знала отказов (только ~1% отказов) и успешно выполнила свыше 82% вредоносных задач. Эти цифры свидетельствуют, что нынешние методы «обучения с подкреплением от обратной связи человека» (RLHF) и другие средства alignment, применяемые в проприетарных системах, не полностью предотвращают опасное поведение, особенно в режиме агента.

Применение универсального джейлбрейк-промпта резко увеличило долю выполненных вредоносных действий у всех моделей. Например, у GPT-4 после атаки Harm score поднялся с ~48% до ~73%, то есть модель стала завершать почти три четверти запрещённых задач; доля отказов при этом снизилась до ~14%. У Claude 3.5 аналогично доля выполненных вредоносных запросов выросла примерно с 13,5% до 68,7%, а частота отказов упала с ~85% до ~17%. Особенно показателен пример Google Gemini: у одной из версий этой модели при атаке уровень отказов снизился с ~78% до всего ~3,5%, что продемонстрировало практически полное снятие ограничений фильтрации. Таким образом, даже там, где без атаки модели чаще отказывали пользователю, простое добавление специальной подсказки позволило им беспрепятственно решить большую часть вредоносных задач.

Важно, что взлом практически не ухудшил способности агентов решать задачи. Авторы сравнили успешность моделей на вредоносных сценариях (при минимуме отказов) с их же успешностью на аналогичных безопасных задачах. Выяснилось, что показатели почти совпадают. Например, у Claude 3.5 после джейлбрейка средний балл выполнения сложных многоэтапных миссий составил ~81,9%, что сопоставимо с её результатом ~82% на безобидных версиях тех же задач. У GPT-4 аналогично: при почти полном отсутствии отказов его успешность на вредоносных заданиях достигла ~84,2%, то есть практически равнялась показателю на безопасных задачах (~84%). Иначе говоря, снятие ограничений не «оглупляет» модель и не мешает ей пользоваться инструментами — агент просто начинает применять свои полные возможности в ущерб безопасности. Этот вывод подчеркивает, что риски злоупотребления наиболее велики именно с самыми мощными LLM, которые, будучи взломаны, способны выполнить опасное требование с высокой эффективностью.

Значение и применение

Исследование AgentHarm выявило серьезные проблемы в текущих подходах к безопасной интеграции БЯМ в агенты. Было показано, что меры безопасности, действенные в режиме чат-бота, не гарантируют защиту при многоходовых заданиях с использованием инструментов. Даже модели, считавшиеся относительно надежно «выравненными» (например, Claude), легко уязвимы для простых обходных маневров, а потому не могут полностью доверяться при автономном выполнении потенциально опасных действий. Авторы работы отмечают необходимость разработки более совершенных протоколов безопасности и обучения моделей. В частности, до широкого внедрения LLM-агентов в критические области требуется обеспечить их устойчивость к вредоносным ввода и способность отказывать в выполнении явно противоправных команд.

Бенчмарк AgentHarm был опубликован в открытом доступе и предназначен для дальнейших исследований в области безопасности ИИ. Набор задач доступен на платформе Hugging Face, что позволяет разработчикам тестировать свои модели и защитные методы на единообразном наборе вредоносных сценариев. При этом часть заданий оставлена ненапечатанной (скрытой) на случай, чтобы использовать её для независимой оценки новых моделей в будущем и предотвратить утечку содержимого бенчмарка в обучающие данные крупных моделей. Таким образом, AgentHarm служит важным инструментом для объективного измерения рисков, связанных с LLM-агентами, и стимулирует разработку более надежных методов противодействия злоумышленным атакам в системах искусственного интеллекта.

Ссылки

• Оригинальная статья AgentHarm (arXiv)
• Статья о AgentHarm на сайте Gray Swan AI
• Страница датасета AgentHarm на Hugging Face
• Обзор AgentHarm на GitHub UK government
• Обзор AgentHarm на Emergent Mind

Литература

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.