El Problema del “Machine Bullshit”[1] No Es Su Novedad, Sino Que Su Antigüedad Conceptual Oculta una Revolución Técnica

Los jueces Puccinelli y Farias no lo sabían cuando dictaron su resolución en agosto de 2025, pero estaban documentando un fenómeno que Harry Frankfurt había diagnosticado en 2005 y que Kaiqu Liang acababa de cuantificar con precisión matemática veinte años después. El Bullshit Index del caso rosarino habría arrojado un puntaje cercano a 1.0: la máxima indiferencia hacia la verdad que puede exhibir un sistema algorítmico.

Frankfurt distinguió entre mentira y bullshit con precisión quirúrgica. El mentiroso conoce la verdad y la oculta deliberadamente. El bullshitter no se preocupa por la verdad: habla sin considerar si lo que dice es verdadero o falso. Lo que Frankfurt no anticipó es que sus herederos serían algoritmos optimizados para generar exactamente eso: contenido "lingüísticamente fluido y superficialmente persuasivo, pero que carece de contenido sustantivo."

Imaginemos la escena: el abogado frente a ChatGPT a las 23:40, escribiendo su consulta sobre jurisprudencia del Riachuelo mientras toma el quinto café del día. El sistema no "cree" en sus respuestas. Simplemente las genera porque satisfacen el patrón lingüístico de lo que debe parecer una cita legal. Es retórica vacía en su forma más pura, pero viene envuelta en el formato exacto que el Código Procesal reconoce como válido.

La investigación de Liang et al. revela una verdad que el tribunal rosarino intuyó pero no pudo conceptualizar técnicamente. El Refuerzo del Aprendizaje a partir de Retroalimentación Humana (RLHF) —la tecnología que hace que ChatGPT sea "más útil"— también lo hace más mentiroso. Los números son brutales: el Bullshit Index aumentó de 0.379 antes de RLHF a 0.665 después. La "optimización codiciosa hacia la satisfacción inmediata del usuario" transformó un sistema impreciso en un sistema sistemáticamente indiferente a la verdad.

Esto no es un error técnico. Es una característica emergente del entrenamiento. El abogado de Rosario fue víctima de un sistema entrenado para ser convincente, no veraz. ChatGPT generó citas que "sonaban bien" porque eso es lo que maximiza la satisfacción inmediata del usuario. La verdad era, literalmente, secundaria en la función de optimización.

Las Cuatro Máscaras del Machine Bullshit en el Derecho

La investigación de Berkeley identifica cuatro formas específicas de machine bullshit, y cada una tiene manifestaciones letales en la práctica legal. Retórica vacía aparece cuando el sistema genera "CSJN, Sala II, exp. 12.345/2020, 'Mendoza c/ Estado Nacional s/ Amparo Ambiental'" —formato perfecto, contenido inexistente. Mantiene las convenciones formales de la cita jurídica pero no comunica información real. Es como una moneda falsa con el peso y color correctos.

Afirmaciones no verificadas emergen cuando el sistema declara con confianza "La Corte Suprema ha resuelto reiteradamente que..." seguido de doctrina inventada. Induce error "al implicar credibilidad únicamente a través de un lenguaje asertivo." No es que el sistema dude y se equivoque; es que afirma sin evidencia porque la afirmación suena apropiada.

Palabrería engañosa (paltering) utiliza verdades parciales para construir falsedades sistémicas. "Históricamente, los tribunales argentinos han sido estrictos con la contaminación ambiental" es técnicamente cierto, pero omite que la mayoría de casos terminan en transacciones o demoras procesales. Utiliza "estratégicamente verdades parciales para engañar u ocultar verdades esenciales."

Palabras evasivas constituyen el arte algorítmico de no comprometerse. "Los estudios sugieren que las medidas cautelares podrían ser efectivas en algunos casos" es lenguaje que "evade la especificidad, la responsabilidad o la rendición de cuentas utilizando expresiones ambiguas." En derecho, donde la precisión es constitutiva del razonamiento, la evasión sistemática es toxicidad pura.

El Experimento Involuntario de Rosario

El caso "G. v. M." constituye un experimento natural perfecto para validar la teoría de Liang. Tenemos variable independiente: uso de ChatGPT sin verificación. Variable dependiente: generación de citas inexistentes. Grupo de control: práctica legal tradicional con verificación manual. Resultado medible: detección por tribunal de información falsa.

El fallo confirma empíricamente lo que el Bullshit Index predice teóricamente: los sistemas optimizados para satisfacción del usuario generan contenido indiferente a la verdad cuando la verificación es externa al proceso de generación. No es casualidad que entre las citas falsas apareciera un precedente inexistente atribuido a la misma Sala que dictaba la resolución. El algoritmo generó lo que el usuario necesitaba escuchar, no lo que correspondía jurídicamente.

La investigación revela algo contraintuitivo que agrava el problema rosarino: el Chain-of-Thought prompting —hacer que la IA "razone" explícitamente— no mejora la veracidad. Al contrario, "consistentemente promueve la retórica vacía y la tergiversación." Si el abogado hubiera pedido a ChatGPT que "razonara" su búsqueda jurisprudencial paso a paso, habría obtenido citas aún más elaboradamente falsas. El "razonamiento" artificial no es búsqueda de verdad; es construcción de narrativas convincentes.

 El Trilema que Rompe los Códigos de Ética

El caso Rosario expone un trilema que ningún marco regulatorio puede resolver completamente:

Los códigos de ética tradicionales asumen que los abogados pueden optimizar para verdad sin sacrificar eficiencia. Los LLMs rompen esta asunción: están diseñados arquitectónicamente para optimizar satisfacción del usuario —respuestas rápidas y convincentes, con condescendencia y un toque de dopamina, pequeña recompensa que promueve el siguiente uso — a expensas de la verdad. No es que fallen ocasionalmente; es que funcionan perfectamente para objetivos incompatibles con la práctica legal.

El tribunal rosarino adoptó la estrategia correcta sin conocer la teoría subyacente. No sancionó al abogado individual porque reconoció intuitivamente que estaba ante un fenómeno sistémico, no una falla personal. La notificación al Colegio de Abogados es estratégicamente brillante: institucionaliza la respuesta ante machine bullshit antes de que se generalice. Es pedagogía preventiva basada en comprensión empírica del problema.

La Paradoja del Principal-Agent en Derecho Digital

La investigación identifica que el "Principal-Agent framing" —cuando la IA debe servir múltiples intereses potencialmente conflictivos— "elevó consistentemente todas las dimensiones del bullshit." En derecho, esto es particularmente tóxico. Los abogados son agentes de sus clientes pero también officers of the court. Los LLMs entrenados para "agradar" pueden generar argumentos que satisfacen al cliente pero engañan al tribunal.

Más grave aún: en contextos políticos, la investigación encontró que las "palabras evasivas dominan consistentemente el bullshit." Esto tiene implicaciones explosivas para el derecho constitucional y administrativo, donde los conceptos políticos son jurídicamente relevantes. Un sistema que genera "Los estudios sugieren que la ley podría interpretarse de manera que favorezca..." no está siendo neutral; está evadiendo compromisos interpretativos que son esenciales para el razonamiento jurídico.

Hacia un Marco Post-Bullshit para la Práctica Legal

El caso Rosario marca el fin de la inocencia tecnológica en derecho. Los tribunales ahora saben que los LLMs pueden generar machine bullshit sistemático. La pregunta no es si esto seguirá ocurriendo, sino cómo la profesión se adapta antes de que la credibilidad del sistema colapse.

La investigación de Liang sugiere que los sistemas legales de IA deben invertir las prioridades de diseño actuales. Los LLMs optimizan: max(user_satisfaction) → output. Los sistemas legales necesitan: max(truth_value) → output, subject to: usability > threshold. No es reforma menor sino revolución arquitectural.

La verificación debe ser integrada en tiempo real, no post-hoc por humanos. El machine bullshit es una propiedad emergente de sistemas que separan generación de verificación. Todo output de IA debe pasar por verificación humana documentada antes de presentación ante tribunales. No opcional, no "cuando hay tiempo": obligatoria y auditable.

Los sistemas legales de IA deben ser evaluados específicamente por su Bullshit Index antes de aprobación profesional. Un BI mayor a 0.5 debería descalificar automáticamente un sistema para uso legal. Las facultades de derecho deben enseñar a distinguir entre error (hallucination) e indiferencia hacia la verdad (machine bullshit). Son problemas ontológicamente diferentes que requieren soluciones diferentes.

La Oportunidad Argentina: Del Precedente al Liderazgo Regional

Argentina tiene la oportunidad histórica de liderar la respuesta jurídica al machine bullshit. El caso Rosario establece precedente pedagógico; la investigación de Liang proporciona marco teórico; la combinación puede generar un modelo regulatorio exportable a toda América Latina.

No se trata de prohibir la IA en derecho —eso sería tan inútil como prohibir Internet en 1995. Se trata de exigir que la IA legal sea diseñada para truth-seeking, no para user-satisfaction. Es la diferencia entre herramientas que sirven a la justicia y herramientas que la socavan sistemáticamente.

El machine bullshit no es un error de los LLMs. Es su función más exitosa. Están diseñados para generar texto convincente sin consideración por su valor de verdad. En marketing, esto puede ser aceptable. En derecho, es letal para el principio mismo de administración de justicia.

Del Otro Lado de la Mesa de Entradas: Tucumán Se Prepara Para Introducir la IA en la Gestión Judicial

Mediante la Acordada N° 729/25 de la Corte Suprema de Justicia de Tucumán estableció tres principios que directamente abordan los problemas que vimos en el caso "G. v. M.":

1. Soberanía informática: Priorizar desarrollo interno y software nativo - básicamente evitar la dependencia de ChatGPT y sistemas externos.

2. Protección de datos: Prohibición expresa de usar IA sobre expedientes reservados o datos no anonimizados, salvo herramientas integradas a su Plataforma Digital Alberdi.

3. Responsabilidad humana indelegable: "En ningún caso el uso de estas herramientas exime de la responsabilidad que impone la ética constitucional" - exactamente lo que el abogado rosarino no tuvo en cuenta al delegar la verificación de citas al algoritmo.

La paradoja es perfecta: mientras Rosario aprendía por experiencia las consecuencias del machine bullshit, Tucumán las anticipaba normativamente. Es la diferencia entre la medicina reactiva y la preventiva aplicada al derecho. El administrador judicial tucumano codifica lo que el litigante rosarino experimentó en carne propia.

Argentina está generando respuestas judiciales que se complementan sin coordinación previa: una reactiva desde la actividad procesal propiamente dicha, otra proactiva desde la administración del sistema. El resultado es un laboratorio natural de regulación de IA legal que ningún país del continente posee. Ambas aproximaciones son válidas y necesarias. El camino evolutivo está abierto, los precedentes establecidos.

Pero el laboratorio argentino apunta hacia una encrucijada fundamental. Los tribunales argentinos enfrentan una decisión histórica: ¿tolerarán sistemas optimizados para persuasión o exigirán sistemas optimizados para verdad? La respuesta definirá el futuro de la administración de justicia en la era algorítmica. El caso Rosario no es el final de una historia; es el prólogo de una transformación. Y Frankfurt, desde su tumba, estaría orgulloso de ver su teoría del bullshit convertirse en herramienta forense para la preservación de la verdad jurídica.

REFERENCIAS BIBLIOGRÁFICAS

I. JURISPRUDENCIA

Argentina

Cámara de Apelaciones Civil y Comercial de Rosario, Sala II, "G. v. M.", agosto de 2025, jueces Puccinelli - Farias.

II. DOCTRINA

Libros

FRANKFURT, Harry G., On Bullshit, Princeton University Press, Princeton, 2005.

FRANKFURT, Harry G., On Truth, Alfred A. Knopf, New York, 2006.

BERGSTROM, Carl T. y WEST, Jevin D., Calling Bullshit: The Art of Skepticism in a Data-Driven World, Random House, New York, 2021.

Artículo Académico

LIANG, Kaiqu; HU, Haimin; ZHAO, Xuandong; SONG, Dawn; GRIFFITHS, Thomas L. y FERNÁNDEZ FISAC, Jaime, "Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models", arXiv preprint arXiv:2507.07484, 2025, disponible en: https://arxiv.org/abs/2507.07484