Inteligență artificială explicabilă
Inteligența artificială explicabilă (Explainable AI, XAI) este o direcție de cercetare și un ansamblu de metode în domeniul inteligenței artificiale, care permit ca deciziile și comportamentul modelelor de Machine Learning să fie înțelese de către oameni[1]. Scopul principal al XAI este de a transforma modelele complexe și opace, adesea numite „cutii negre", în „cutii transparente" sau „cutii de sticlă", capabile să explice modul în care iau decizii.
Necesitatea explicabilității a crescut brusc odată cu dezvoltarea modelelor complexe, în special a modelelor lingvistice mari (LLM), care, în ciuda preciziei ridicate, au mecanisme interne neclare pentru dezvoltatori și utilizatori. Lipsa transparenței prezintă riscuri, deoarece un model poate comite erori ascunse, poate manifesta prejudecăți sau poate genera informații false, ale căror cauze nu pot fi înțelese fără explicații corespunzătoare[2].
Semnificația și necesitatea XAI
Necesitatea inteligenței artificiale explicabile este recunoscută atât de comunitatea științifică, cât și de autorități de reglementare. Dezvoltarea XAI este esențială pentru înțelegerea comportamentului, a limitărilor și a consecințelor sociale ale sistemelor AI complexe.
- Încredere și adoptarea tehnologiilor. Utilizatorii, în special în domenii critice precum medicina și finanțele, tind să aibă încredere în sistemele care pot justifica concluziile lor. Explicațiile sporesc transparența și certitudinea că modelul funcționează corect și etic[3].
- Identificarea și atenuarea prejudecăților. Explicabilitatea ajută la detectarea situațiilor în care modelul se bazează pe corelații nedorite sau neetice în date (de exemplu, legate de rasă, gen sau vârstă). Aceasta le permite dezvoltatorilor să identifice și să corecteze prejudecățile algoritmice[1].
- Fiabilitate și robustețe. Interpretabilitatea ajută la identificarea vulnerabilităților modelului, inclusiv față de atacuri adversariale (adversarial attacks), și la creșterea rezistenței acestuia la mici perturbații ale datelor de intrare.
- Conformitatea cu cerințele normative. Legislația, cum ar fi GDPR în Uniunea Europeană, consacră dreptul persoanei de a obține o explicație pentru deciziile luate de sistemele automatizate. Programul XAI al DARPA (Agenția pentru Proiecte de Cercetare Avansată în Apărare a SUA), lansat în 2017, a urmărit de asemenea crearea unor sisteme AI capabile să furnizeze utilizatorilor explicații interpretabile[4].
Abordări privind explicabilitatea modelelor
Metodele XAI pot fi împărțite în două mari categorii: modele interpretabile, transparente „prin construcție", și metode post-hoc, care explică modelele de tip „cutie neagră" după antrenarea lor.
Modele interpretabile („cutii transparente")
Acestea sunt algoritmi a căror structură internă este prin natura sa simplă și ușor de înțeles de către oameni. Printre acestea se numără:
- Regresia liniară
- Regresia logistică
- Arbori de decizie cu adâncime redusă
- Modele bazate pe reguli (Rule-based systems)
Astfel de modele sunt ușor de interpretat, dar adesea sunt inferioare ca precizie modelelor mai complexe (de exemplu, rețelele neurale profunde) pe date complexe. Există un compromis între precizie și interpretabilitate[1].
Metode post-hoc de explicare („cutii negre")
Aceste metode se aplică modelelor complexe deja antrenate, fără a le modifica structura internă. Ele generează informații suplimentare care ajută la înțelegerea logicii predicțiilor. Explicațiile post-hoc se împart în locale și globale.
Explicații locale
Metodele locale explică o predicție individuală a modelului pentru un exemplu specific de intrare.
- LIME (Local Interpretable Model-agnostic Explanations): Una dintre cele mai populare metode. LIME construiește un model surogat simplu și interpretabil (de exemplu, o regresie liniară) în vecinătatea locală a unei predicții specifice, aproximând comportamentul modelului complex de tip „cutie neagră"[1].
- SHAP (SHapley Additive exPlanations): Bazat pe valorile Shapley din teoria cooperativă a jocurilor. SHAP calculează contribuția fiecărei caracteristici la predicția finală, distribuind echitabil „câștigul" (diferența dintre predicție și valoarea medie) între caracteristici. Această metodă oferă explicații fundamentate teoretic și consistente[5].
- Explicații contrafactuale: Generează scenarii de tip „ce s-ar întâmpla dacă?". Acestea arată ce modificări minime ale datelor de intrare ar conduce la un alt rezultat (de exemplu, „Creditul dumneavoastră ar fi fost aprobat dacă venitul anual ar fi fost cu 5.000 $ mai mare")[1].
Explicații globale
Metodele globale vizează explicarea logicii generale a modelului sau a cunoștințelor sale în ansamblu. Printre acestea se numără analiza importanței caracteristicilor pe întregul set de date, precum și vizualizarea reprezentărilor interne ale modelului.
Explicabilitatea pentru modelele lingvistice mari (LLM)
Modelele lingvistice mari reprezintă o provocare specială și, totodată, noi oportunități pentru XAI. Dimensiunea lor uriașă și complexitatea îngreunează aplicarea metodelor tradiționale, însă capacitatea lor de a lucra cu limbajul natural deschide noi căi pentru explicații.
Analiza mecanismelor de atenție (Attention Visualization)
Mecanismul self-attention din arhitectura Transformer permite vizualizarea părților din textul de intrare (token-uri) asupra cărora modelul „se concentrează" în timpul generării răspunsului. Deși aceasta oferă o înțelegere intuitivă a funcționării modelului, în comunitatea științifică există o dezbatere privind dacă atenția constituie o explicație completă, deoarece importanța ridicată a ponderilor de attention nu implică întotdeauna o relație de cauzalitate[6].
Interpretabilitate mecanistică
Cel mai profund nivel de explicabilitate, vizând ingineria inversă completă a funcționării rețelei neurale. Cercetătorii încearcă să identifice și să înțeleagă „circuite" (circuits) concrete — grupuri de neuroni și conexiunile lor, care implementează anumite funcții algoritmice (de exemplu, recunoașterea unei construcții sintactice sau căutarea unui fapt)[7].
Explicarea prin limbaj natural
O capacitate unică a LLM este aceea de a se explica pe sine însuși. Folosind tehnici de prompting, precum Chain-of-Thought, se poate determina modelul să genereze raționamente pas cu pas care au condus la concluzia sa. Aceasta face procesul de luare a deciziei transparent pentru utilizator. Cu toate acestea, astfel de explicații pot fi nefiabile (unfaithful) — modelul poate genera o justificare convingătoare, dar falsă, care nu reflectă procesul său intern real[8].
Referințe
- Pagina oficială a programului DARPA XAI
- Prezentare generală a Explainable AI de la IBM
Note
- ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
- ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
- ↑ «What is Explainable AI (XAI)?». IBM. [3]
- ↑ «Explainable Artificial Intelligence». DARPA. [4]
- ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
- ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
- ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
- ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]