Loro estocástico

Loro estocástico (del inglés Stochastic parrot) es una metáfora utilizada en el campo de la inteligencia artificial para describir a los grandes modelos de lenguaje (LLM) como sistemas que pueden combinar formas lingüísticas de manera estadísticamente plausible, pero que carecen de una comprensión genuina de su significado.

El término fue introducido en marzo de 2021 en el artículo científico «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» (Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes?), publicado en la conferencia FAccT. Los autores fueron Emily M. Bender, Timnit Gebru, Angelina McMillan-Major y Margaret Mitchell.

Definición y concepto

Según los autores del artículo, un loro estocástico es «un sistema para ensamblar caóticamente secuencias de formas lingüísticas observadas en sus vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo se combinan, pero sin ninguna referencia a su significado».

El término consta de dos partes:

• Estocástico — del griego antiguo στοχαστικός («basado en conjeturas»), en la matemática moderna se refiere a un proceso determinado por una distribución de probabilidad aleatoria.
• Loro — una referencia a la habilidad de los loros para imitar el habla humana sin comprender su significado.

El concepto sostiene que los LLM, entrenados para predecir la siguiente palabra en una secuencia, son esencialmente sistemas complejos de autocompletado que manipulan símbolos sin acceder a su significado.

Argumentos principales del artículo «On the Dangers of Stochastic Parrots»

El trabajo destaca cuatro categorías principales de riesgos asociados con el desarrollo de modelos de lenguaje excesivamente grandes.

1. Datos de entrenamiento inescrutables

Los LLM se entrenan con conjuntos de datos enormes y no anotados, recopilados de internet (como Common Crawl). Dichos conjuntos de datos contienen inevitablemente sesgos, lenguaje tóxico y puntos de vista hegemónicos que perjudican a grupos vulnerables. Por ejemplo, el contenido de internet representa de manera desproporcionada a hombres blancos de países desarrollados (el 67 % de los usuarios de Reddit en EE. UU. son hombres).

2. Falta de comprensión genuina del lenguaje

Los autores argumentan que los LLM no poseen una comprensión genuina del lenguaje. Se basan en la teoría de que el lenguaje es un sistema de signos donde la forma (la palabra) está inseparablemente ligada al significado. Los datos de entrenamiento para los LLM solo contienen la forma, privando al modelo del acceso al significado. Por lo tanto, los LLM solo imitan un habla con sentido.

3. Texto sintético y daño potencial

Dado que los LLM generan texto gramaticalmente correcto y convincente, las personas tienden a atribuirle significado y a confiar en él. Esto crea un riesgo de difusión de desinformación, discurso de odio y fraude. Cuanto más perfecta es la imitación, mayor es el riesgo de que las personas sobreestimen las capacidades de la IA y le confíen decisiones de importancia crítica.

Influencia científica y controversia en torno a la publicación

El artículo se convirtió en el centro de un gran escándalo en Google, donde en ese momento trabajaban las coautoras Timnit Gebru y Margaret Mitchell. A finales de 2020, durante una revisión interna, la dirección de Google exigió a los autores que retiraran el artículo o eliminaran de él los nombres de los empleados de Google.

Timnit Gebru, una destacada investigadora de la ética de la IA, se negó a cumplir esta exigencia, lo que llevó a su despido de Google en diciembre de 2020. En febrero de 2021, Margaret Mitchell, quien apoyó a Gebru, también fue despedida. Estos eventos causaron una gran resonancia pública. Más de 2200 empleados de Google y miles de miembros de la comunidad académica firmaron una carta de protesta, acusando a la empresa de censura científica y de suprimir investigaciones que podrían afectar sus intereses comerciales. Finalmente, el artículo fue publicado en marzo de 2021 en la conferencia FAccT.

Reacción, debates y evolución de las perspectivas

La metáfora del «loro estocástico» se difundió rápidamente y se convirtió en un punto central en los debates sobre la naturaleza de la inteligencia artificial. La American Dialect Society (ADS) eligió «stochastic parrot» como la palabra del año en el campo de la IA para 2023, superando incluso a «ChatGPT» y «LLM».

Crítica del concepto y evidencias de comprensión

El concepto fue cuestionado por muchos investigadores destacados.

• Geoffrey Hinton, uno de los «padrinos» del aprendizaje profundo, afirmó que «para predecir con precisión la siguiente palabra, es necesario entender la oración». En 2023, tras dejar Google, declaró que los grandes modelos ya «entienden» lo que se les enseña y pueden sacar sus propias conclusiones.
• Habilidades emergentes: Las investigaciones han demostrado que, al alcanzar una cierta escala, los LLM muestran una aparición abrupta de nuevas habilidades, como la resolución de problemas aritméticos, que no fueron programadas explícitamente en ellos.
• Modelos internos del mundo: Un estudio de 2022 demostró que un modelo entrenado para jugar al Othello a partir de registros textuales de movimientos formó espontáneamente una representación interna del tablero de juego, lo que indica el desarrollo de un modelo abstracto del mundo descrito.
• Rendimiento en benchmarks: Los modelos modernos, como GPT-4, muestran resultados a nivel humano (o superiores) en exámenes profesionales complejos, lo que, según algunos, es imposible sin comprensión.

Uso irónico y discurso público

El término se hizo tan popular que incluso el director ejecutivo de OpenAI, Sam Altman, lo utilizó irónicamente, escribiendo en Twitter: «yo soy un loro estocástico, y tú también» (i am a stochastic parrot, and so r u). Con esto, insinuó que el habla humana también es, en gran medida, una predicción probabilística de la siguiente palabra, jugando con la crítica dirigida a la IA.

Influencia en el discurso científico

La metáfora del «loro estocástico» sigue siendo central en los debates sobre las capacidades y limitaciones de los LLM. Ayudó a formular el problema de la falta de una comprensión genuina en los modelos de lenguaje y atrajo la atención sobre los riesgos asociados con su desarrollo. Al mismo tiempo, el rápido progreso en el campo de los LLM obliga a reevaluar constantemente esta metáfora, ya que los modelos más recientes demuestran un comportamiento cada vez más complejo que no encaja en la imagen de un «loro sin sentido». El término continúa influyendo en el discurso científico, subrayando la importancia de un análisis crítico de las capacidades de los sistemas de IA y sus consecuencias sociales.

Bibliografía

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.