Халюцинации и некоректни отговори на LLM

From Systems analysis wiki
Jump to navigation Jump to search

Халюцинация (англ. hallucination) в контекста на големите езикови модели (LLM) е явление, при което моделът уверено генерира привидно правдоподобен (plausible) отговор, който всъщност не отговаря на действителността, на предоставения контекст или е вътрешно противоречив[1][2]. Моделът „измисля" факти, детайли или логически изводи, които отсъстват в изходните данни.

Важно е да се отбележи, че халюцинацията не е повреда или грешка в традиционния смисъл. Моделът работи така, както е проектиран: той предсказва най-вероятното продължение на текста въз основа на паттерни, извлечени от данните за обучение. Той няма вграден механизъм за проверка на истинността[3]. Халюцинациите се различават от обикновените грешки по това, че представляват уверено поднесена, но невярна информация, която често включва несъществуващи факти, препратки или събития[4]. Това явление стана толкова значимо, че през 2023 година Кембриджският речник добави ново значение на термина „hallucination", отнасящо се до изкуствения интелект[5].

Определения и класификация на халюцинациите

Макар да се използват различни термини (например „конфабулация", „измислица"), халюцинациите в LLM могат да се разделят на две основни категории: свързани с фактическа достоверност и свързани с вярност към източника (контекстуална съгласуваност)[6].

Фактически халюцинации

Това е случай, при който моделът посочва фактически невярна информация за реалния свят. Моделът твърди лъжлив „факт" като истина[1].

  • Пример: „Чарлз Линдберг е първият човек, стъпил на повърхността на Луната" — напълно измислен факт.
  • Неверни цитати и препратки: Моделът може да измисли препратка към несъществуващ научен труд или закон, имитирайки формата на реална препратка[2]. Това подкопава доверието към моделите, особено в приложения, изискващи точност (образование, новини, консултации)[7].

Логически грешки

Моделът допуска несъответствие или грешка в разсъжденията. Отделните факти в отговора могат да бъдат верни, но изводът е нелогичен или противоречи на елементарната логика[2]. Това се случва често при сложни разсъждения или задачи по математика и причинно-следствени връзки, където моделът оперира с вероятностни връзки между думи, а не с формална логика[2][2].

  • Пример: „Тъй като птиците летят, астронавтите не изпитват гравитация" — текстът изглежда свързан, но е логически неверен.

Контекстни халюцинации

Отговорът на модела не съответства на предоставения контекст или инструкция. Моделът „излиза" от контекста, като добавя излишна информация или пренебрегва необходимата[1].

  • Нарушение на инструкцията: При молба „преведи текста на испански" моделът отговаря на английски[1].
  • Информация извън източника: При задача за обобщаване моделът „добавя" факти, отсъстващи в оригиналния документ, или ги изопачава[1].
  • Смесване на контексти: В средата на отговора моделът изведнъж започва да говори за нещо от друга област. Например в отговор на въпрос за комисаря на НБА Адам Силвър, моделът може да превключи към неговия предшественик Дейвид Стърн, смесвайки два различни контекста[6].

Непоследователност

Разновидност на халюцинацията, при която моделът си противоречи в рамките на един отговор или поредица от отговори[6]. В едно изследване е установено, че нивото на само-противоречивост на отговорите на ChatGPT е около 14%[6][6].

  • Пример: „Компания Х е основана през 1990 година... а след няколко изречения ...Компания Х, образувана през 2000 година..."

Халюцинации в код

LLM, обучени върху код, могат да генерират синтактично коректни, но нефункционални фрагменти, използвайки несъществуващи функции, библиотеки или параметри[2]. Например моделът може да генерира `import quantum` в Python, въпреки че такъв стандартен модул не съществува. През 2024 година беше предложен терминът „code hallucination" и беше създаден benchmark CodeMirage за систематизиране на този проблем[8].

Причини за възникване

Явлението халюцинации се обуславя от съвкупност от фактори — от архитектурата на модела до качеството на данните.

  • Архитектура и принцип на обучение: Повечето LLM (например GPT) са авторегресивни transformer модели, обучени да предсказват следващия token. Тяхната цел е максимизиране на правдоподобието на текста, а не проверка на истинността на твърденията[2]. Моделът не разграничава факти от измислица в обучителните данни, като възприема всичко като текстови паттерни[2].
  • Качество на обучителните данни: LLM се обучават върху огромни корпуси от текст от Интернет, които съдържат множество неточности, митове и остаряла информация[1]. Моделът запомня и възпроизвежда тези грешки. Важен е и knowledge cutoff — времевата граница, до която моделът разполага с информация.
  • Начин на генериране на текст: Стохастичният характер на генерирането (семплиране с температура) позволява на модела да създава по-„творчески", но по-малко точни отговори. Ограничената дължина на контекста може да доведе до това, че моделът „забравя" ранни детайли от диалога и започва да си противоречи[6].

Методи за оценка и измерване

За разкриване и измерване на халюцинациите се прилагат автоматични метрики, човешка оценка и специализирани benchmark тестове.

  • Автоматични метрики: Включват подходи, при които друг LLM изпълнява ролята на „съдия" (LLM-as-a-judge) за оценка на коректността на отговора[9], или анализ на ентропията (несигурността) на модела при генериране[10].
  • Човешка анотация: Смята се за „златен стандарт". Експерти или crowd асесори ръчно оценяват отговорите, отбелязвайки грешките. Този метод се използва при обучение на модели с помощта на RLHF[11].
  • Benchmark тестове и стрес тестове: Създадени са специални набори от данни, като например TruthfulQA, който съдържа въпроси, провокиращи модела да възпроизвежда разпространени митове[12]. Съществуват също класации, например Hugging Face Hallucination Leaderboard, където моделите се сравняват по ниво на халюцинации[13].

Методи за смекчаване и предотвратяване

  • Retrieval-Augmented Generation (RAG): Най-успешният подход, който „обвързва" модела с външни знания. Преди генерирането на отговора моделът получава релевантна информация от база данни, търсачка или API. Това позволява на модела да основава отговора си на проверени данни, а не на предположения[2].
  • Вериги на разсъждение (Chain-of-Thought) и самопроверка: Моделът първо генерира поетапно разсъждение, преди да даде окончателен отговор, което повишава точността. При по-напредналите методи, като Self-Verification, моделът генерира чернова на отговора, след което получава задача да го провери и коригира[14].
  • Вградени правила и филтри: Моделите се обучават да отказват отговор, когато не са сигурни. Например моделите Claude от Anthropic следват принципа на „правдивост" и често отговарят „Не ми е известно точно...", вместо да измислят факти[11].
  • Интеграция с външни инструменти: Модели като Gemini могат автоматично да разпознават кога се нуждаят от външен инструмент (например калкулатор за изчисления или търсене за актуални новини) и да го използват, което значително намалява броя на халюцинациите[11].

Рискове и последствия

  • Правни и репутационни рискове: В юридическата сфера халюцинациите могат да имат сериозни последствия. Широка известност придоби случаят Mata v. Avianca (2023), при който адвокат използва ChatGPT за търсене на съдебни прецеденти и той измисли няколко несъществуващи дела. Адвокатите бяха глобени, а инцидентът се превърна в поука за недопустимостта на сляпо доверие в ИИ без проверка[1].
  • Разпространение на дезинформация: В мащаб на обществото LLM могат да задълбочат проблема с фалшивите новини. Известен е случаят с модела Galactica на Meta, който беше създаден в помощ на учени, но започна да генерира псевдонаучни текстове с измислени експерименти и препратки. След три дни публичният достъп до модела беше затворен[15].
  • Вземане на погрешни решения: Потребителите, особено неопитните, са склонни да се доверяват на уверено формулирани отговори на ИИ, което може да доведе до вземане на неверни решения във финансите, медицината и други критични области[7].

Примери от практиката

  • Случаят с Air Canada (2023): Чат-ботът на авиокомпанията измисли несъществуваща политика за връщане на билети. Когато клиент поиска да я приложат, компанията отказа. Транспортният трибунал на Канада задължи Air Canada да носи отговорност за информацията, предоставена от нейния чат-бот, и да обезщети клиента[9].
  • Иск за клевета срещу OpenAI (2023): Радиоводещият Марк Уолтърс заведе дело срещу OpenAI, тъй като ChatGPT в отговор на запитване на журналист го обвини лъжливо в измама. Този случай подчерта правната отговорност на компаниите за съдържанието, генерирано от техните модели[6].

Препратки

  • The Beginner's Guide to Hallucinations in Large Language Models — подробно ръководство от Lakera
  • Survey of Hallucination in Natural Language Generation — научен преглед на явлението в arXiv

Литература

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Бележки

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Халюцинации_и_некоректни_отговори_на_LLM&oldid=21995"