Halucinații și răspunsuri incorecte ale LLM

From Systems analysis wiki
Jump to navigation Jump to search

Halucinația (engl. hallucination) în contextul modelelor lingvistice mari (LLM) este fenomenul prin care modelul generează cu încredere un răspuns aparent plauzibil (plausible), care în realitate nu corespunde adevărului, contextului furnizat sau este intern contradictoriu[1][2]. Modelul „inventează" fapte, detalii sau concluzii logice care nu există în datele sursă.

Este important de menționat că halucinația nu reprezintă o defecțiune sau un bug în sensul tradițional. Modelul funcționează exact cum a fost proiectat: prezice cea mai probabilă continuare a textului pe baza tiparelor extrase din datele de antrenament. Nu dispune de un mecanism integrat de verificare a adevărului[3]. Halucinațiile se deosebesc de erorile simple prin aceea că reprezintă informații false prezentate cu încredere, incluzând adesea fapte, referințe sau evenimente inexistente[4]. Acest fenomen a devenit atât de semnificativ încât în 2023 Dicționarul Cambridge a adăugat o nouă accepțiune a termenului „hallucination", referitoare la inteligența artificială[5].

Definiții și clasificarea halucinațiilor

Deși sunt utilizați diverși termeni (de exemplu, „confabulație", „invenție"), halucinațiile în LLM pot fi împărțite în două mari categorii: cele legate de acuratețea factuală și cele legate de fidelitatea față de sursă (coerența contextuală)[6].

Halucinații factuale

Acesta este cazul în care modelul prezintă informații factual incorecte despre lumea reală. Modelul afirmă un „fapt" fals ca adevăr[1].

  • Exemplu: „Charles Lindbergh a fost primul om care a pășit pe suprafața Lunii" — un fapt complet inventat.
  • Citate și referințe false: Modelul poate inventa o referință la o lucrare științifică sau un act normativ inexistent, imitând formatul unei referințe reale[2]. Acest lucru subminează încrederea în modele, în special în aplicații unde se impune precizia (educație, știri, consultanță)[7].

Erori logice

Modelul comite o inconsecvență sau o eroare în raționament. Faptele individuale din răspuns pot fi corecte, dar concluzia este ilogică sau contrazice logica elementară[2]. Acest lucru se întâmplă frecvent în raționamente complexe sau în sarcini de matematică și cauzalitate, unde modelul operează cu asocieri probabilistice de cuvinte, nu cu logică formală[2][2].

  • Exemplu: „Deoarece păsările zboară, astronauții nu simt gravitația" — textul pare coerent, dar este logic incorect.

Halucinații contextuale

Răspunsul modelului nu corespunde contextului sau instrucțiunii furnizate. Modelul „iese" din context, adăugând informații irelevante sau ignorând pe cele necesare[1].

  • Nerespectarea instrucțiunii: La solicitarea „traduce textul în spaniolă", modelul răspunde în engleză[1].
  • Informații din afara sursei: Într-o sarcină de sumarizare, modelul „adaugă" fapte absente din documentul original sau le denaturează[1].
  • Amestecul contextelor: La mijlocul răspunsului, modelul trece brusc la un subiect dintr-un alt domeniu. De exemplu, la o întrebare despre comisarul NBA Adam Silver, modelul poate comuta la predecesorul său David Stern, amestecând două contexte diferite[6].

Inconsecvența

O variantă de halucinație în care modelul se contrazice pe sine însuși în cadrul unui singur răspuns sau al unei serii de răspunsuri[6]. Într-un studiu s-a constatat că rata auto-contradicției la ChatGPT este de aproximativ 14%[6][6].

  • Exemplu: „Compania X a fost fondată în 1990... iar câteva propoziții mai târziu ...Compania X, înființată în 2000..."

Halucinații în cod

LLM antrenate pe cod pot genera fragmente corect sintactic, dar nefuncționale, utilizând funcții, biblioteci sau parametri inexistenți[2]. De exemplu, modelul poate genera `import quantum` în Python, deși un astfel de modul standard nu există. În 2024 a fost propus termenul „code hallucination" și a fost creat benchmark-ul CodeMirage pentru sistematizarea acestei probleme[8].

Cauzele apariției

Fenomenul halucinațiilor este determinat de o combinație de factori, de la arhitectura modelului până la calitatea datelor.

  • Arhitectura și principiul de antrenament: Majoritatea LLM (de exemplu, GPT) sunt transformere autoregresive antrenate să prezică următorul token. Obiectivul lor este maximizarea plauzibilității textului, nu verificarea veridicității afirmațiilor[2]. Modelul nu distinge între fapte și ficțiune în datele de antrenament, percepând totul ca tipare textuale[2].
  • Calitatea datelor de antrenament: LLM sunt antrenate pe corpusuri uriașe de text de pe Internet, care conțin numeroase inexactități, mituri și informații depășite[1]. Modelul memorează și reproduce aceste erori. De asemenea, este important conceptul de knowledge cutoff — limita temporală până la care modelul deține informații.
  • Modul de generare a textului: Caracterul stocastic al generării (eșantionare cu temperatură) permite modelului să producă răspunsuri mai „creative", dar mai puțin precise. Lungimea limitată a contextului poate face ca modelul să „uite" detalii timpurii ale dialogului și să înceapă să se contrazică[6].

Metode de evaluare și măsurare

Pentru detectarea și măsurarea halucinațiilor se utilizează metrici automate, evaluare umană și benchmark-uri specializate.

  • Metrici automate: Includ abordări în care un alt LLM joacă rolul de „judecător" (LLM-as-a-judge) pentru evaluarea corectitudinii răspunsului[9], sau analiza entropiei (incertitudinii) modelului în timpul generării[10].
  • Adnotare umană: Este considerată „standardul de aur". Experții sau evaluatorii din crowdsourcing apreciază manual răspunsurile, marcând erorile. Această metodă este utilizată la antrenarea modelelor prin RLHF[11].
  • Benchmark-uri și teste de stres: Au fost create seturi de date specializate, precum TruthfulQA, care conține întrebări ce provoacă modelul să reproducă mituri comune[12]. Există, de asemenea, clasamente, de exemplu Hugging Face Hallucination Leaderboard, unde modelele sunt comparate după nivelul halucinațiilor[13].

Metode de atenuare și prevenire

  • Retrieval-Augmented Generation (RAG): Cea mai eficientă abordare, care „ancorează" modelul la cunoștințe externe. Înainte de generarea răspunsului, modelul primește informații relevante dintr-o bază de date, un motor de căutare sau un API. Aceasta permite modelului să își bazeze răspunsul pe date verificate, nu pe speculații[2].
  • Lanțuri de raționament (Chain-of-Thought) și auto-verificare: Modelul generează mai întâi un raționament pas cu pas înainte de a oferi răspunsul final, ceea ce crește precizia. În metode mai avansate, precum Self-Verification, modelul generează un răspuns preliminar, iar apoi primește sarcina de a-l verifica și corecta[14].
  • Reguli și filtre integrate: Modelele sunt antrenate să refuze răspunsul atunci când nu sunt sigure. De exemplu, modelele Claude de la Anthropic urmează principiul „veridicității" și răspund frecvent cu „Nu știu cu exactitate...", în loc să inventeze fapte[11].
  • Integrarea cu instrumente externe: Modele precum Gemini pot recunoaște automat când au nevoie de un instrument extern (de exemplu, un calculator pentru calcule sau o căutare pentru știri recente) și îl utilizează, reducând semnificativ numărul halucinațiilor[11].

Riscuri și consecințe

  • Riscuri juridice și reputaționale: În domeniul juridic, halucinațiile pot avea consecințe grave. A devenit larg cunoscut cazul Mata v. Avianca (2023), în care un avocat a folosit ChatGPT pentru a căuta precedente judiciare, iar acesta a inventat mai multe cauze inexistente. Avocații au fost amendați, iar incidentul a devenit o lecție despre inadmisibilitatea încrederii în IA fără verificare[1].
  • Răspândirea dezinformării: La scară societală, LLM pot amplifica problema știrilor false. Este cunoscut cazul modelului Galactica de la Meta, creat pentru a ajuta oamenii de știință, care a început să genereze texte pseudoștiințifice cu experimente și referințe inventate. După trei zile, accesul public la model a fost închis[15].
  • Luarea de decizii eronate: Utilizatorii, în special cei mai puțin experimentați, tind să aibă încredere în răspunsurile formulate cu încredere de IA, ceea ce poate duce la decizii greșite în domenii critice precum finanțele, medicina și altele[7].

Exemple din practică

  • Cazul Air Canada (2023): Chatbot-ul companiei aeriene a inventat o politică de returnare a biletelor inexistentă. Când clientul a solicitat aplicarea acesteia, compania a refuzat. Tribunalul de transport din Canada a obligat Air Canada să răspundă pentru informațiile furnizate de chatbot-ul său și să despăgubească clientul[9].
  • Acțiunea în justiție pentru defăimare împotriva OpenAI (2023): Prezentatorul radio Mark Walters a dat în judecată OpenAI deoarece ChatGPT, în răspunsul la solicitarea unui jurnalist, l-a acuzat în mod fals de fraudă. Acest caz a evidențiat răspunderea juridică a companiilor pentru conținutul generat de modelele lor[6].

Referințe

  • The Beginner's Guide to Hallucinations in Large Language Models — ghid detaliat de la Lakera
  • Survey of Hallucination in Natural Language Generation — sinteză științifică a fenomenului pe arXiv

Bibliografie

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Note

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.ru/int/index.php?title=Halucinații_și_răspunsuri_incorecte_ale_LLM&oldid=22261"