Por qué los sistemas que deciden, actúan, se controlan y aprenden de sus propios resultados necesitan una separación de funciones

Imaginemos que una persona reclama una prestación ante un organismo público. Su presentación ya no es examinada por un único programa. Un primer sistema resume el expediente. Otro busca antecedentes. Un tercero estima si corresponde reconocer el derecho. Un cuarto redacta el proyecto de acto administrativo. Un quinto comprueba que la decisión cumpla ciertas reglas. Finalmente, otro componente comunica el resultado y lo incorpora a una memoria que será consultada en casos futuros.

A primera vista, el procedimiento parece más seguro que una decisión producida por una sola máquina. Hay especialización, controles y registro. Sin embargo, aparecen preguntas que cualquier abogado reconocería: ¿quién seleccionó los hechos relevantes?, ¿qué autoridad convirtió una recomendación en una decisión?, ¿el sistema que controló el resultado era realmente independiente?, ¿puede la persona controvertir la información utilizada?, ¿quién corrige el antecedente si después se descubre un error?

Estas preguntas no pertenecen a una hipotética ciencia jurídica del futuro. Son versiones nuevas de problemas antiguos: competencia, debido proceso, motivación, defensa, revisión e imputación. Lo novedoso es que las funciones pueden quedar distribuidas entre modelos, programas, bases de datos, herramientas y personas. Esa distribución puede mejorar el control. También puede volver invisible el poder.

La tesis de este artículo es sencilla: cuando la inteligencia artificial deja de limitarse a responder preguntas y comienza a organizar acciones mediante agentes que interactúan entre sí, necesita una coordinación institucional. Y, cuando esa coordinación puede afectar derechos, la mera eficiencia técnica ya no alcanza. Hace falta una arquitectura de garantías comparable, en su lógica funcional, a la separación de poderes.

De un modelo de lenguaje a un agente

Conviene comenzar por las palabras. Un modelo de lenguaje de gran escala, conocido por la sigla inglesa LLM, es un sistema entrenado con enormes cantidades de texto para producir lenguaje a partir de patrones estadísticos. Ante una consigna, genera una continuación probable y coherente. Puede resumir un expediente, proponer argumentos o redactar una resolución con una fluidez sorprendente.

Esa fluidez no debe confundirse con una garantía de verdad, de conocimiento jurídico ni de competencia institucional. El modelo puede producir una respuesta correcta, pero también puede completar un vacío con una afirmación plausible y falsa. Tampoco sabe, por sí mismo, qué documentos integran válidamente un expediente, qué funcionario tiene competencia o qué nivel de prueba exige una norma. Esas condiciones deben ser incorporadas mediante datos, instrucciones, herramientas y controles externos.

Un chatbot común espera una pregunta y devuelve una respuesta. Un agente agrega algo decisivo: capacidad para perseguir un objetivo mediante varios pasos. Puede consultar una base de datos, elegir una herramienta, ejecutar una búsqueda, evaluar el resultado y continuar sin que una persona le indique cada movimiento. Si además recibe permisos, puede enviar un correo, modificar un registro, emitir una orden de pago o activar otro sistema.

Por eso un agente no es solamente “un LLM más autónomo”. Es una organización compuesta por un modelo, instrucciones, acceso a información, herramientas, memoria y autorizaciones. El modelo aporta capacidades lingüísticas y de razonamiento aproximado. La arquitectura determina qué puede hacer con ellas.

Cuando varios agentes forman un orden social

La siguiente etapa consiste en distribuir el trabajo. Un agente investiga; otro redacta; otro critica; otro ejecuta. Se habla entonces de sistemas multiagente. La idea se parece a un estudio jurídico en el que distintas personas cumplen tareas especializadas, con la diferencia de que las interacciones pueden producirse a gran velocidad y sin supervisión humana en cada paso.

Esa comparación permite advertir un error frecuente. Poner nombres diferentes a los componentes no crea independencia. Si el agente que redacta y el que controla utilizan el mismo modelo, consultan las mismas fuentes, obedecen las mismas instrucciones y son premiados por llegar rápidamente a una respuesta coincidente, el segundo puede limitarse a confirmar al primero. Habrá dos intervenciones técnicas, pero no dos perspectivas materiales.

La cuestión se vuelve más importante cuando los agentes interactúan más allá de un entorno individual. Sus resultados pueden circular entre áreas de una empresa, organismos públicos, plataformas o sistemas contratados a terceros. Un agente puede actuar sobre información producida por otro sin conocer su origen ni sus limitaciones. La decisión final deja de ser un acto aislado y pasa a ser el producto de una red.

En esa red aparecen fenómenos que se parecen a los de una sociedad: división del trabajo, reglas de acceso, jerarquías, incentivos, memoria común, conflictos de competencia y mecanismos para resolver desacuerdos. La expresión “social” no significa que las máquinas sean personas. Significa que la conducta relevante emerge de relaciones entre múltiples participantes y no puede explicarse examinando uno solo.

La recursividad no exige ciencia ficción

La palabra “recursividad” suele evocar una inteligencia que se mejora a sí misma hasta escapar del control humano. Ese escenario puede discutirse, pero no es necesario para advertir el problema jurídico inmediato.

Hay una forma mucho más cotidiana de mejora recursiva. Un sistema realiza una tarea, evalúa su resultado y utiliza esa evaluación para modificar la manera en que resolverá la tarea siguiente. Puede cambiar sus instrucciones, seleccionar otra herramienta, reformular sus criterios de control o guardar una solución como ejemplo exitoso. Si el ciclo se repite, el sistema participa en la modificación de su propio entorno operativo.

El riesgo no depende solamente de que el modelo altere su código. También existe cuando una organización permite que los resultados del sistema determinen qué datos se conservarán, qué respuestas serán consideradas correctas o qué reglas se aplicarán en el futuro. El componente que evalúa hoy puede contribuir a definir el estándar con el que será evaluado mañana.

Un ejemplo jurídico lo muestra con claridad. Si un agente rechaza una petición por considerarla tardía, otro agente valida el rechazo y la memoria registra ese caso como antecedente correcto, el error inicial puede reaparecer en cientos de expedientes. El problema ya no es una “alucinación” aislada. Es la transformación de una conclusión discutible en regla práctica.

Por qué aparece una analogía constitucional

La conocida afirmación de que el poder tiende a corromper y el poder absoluto corrompe absolutamente no debe aplicarse literalmente a un modelo. Un LLM no necesita ambición personal para producir efectos equivalentes a una concentración de poder. Basta con que la arquitectura le permita proponer la solución, ejecutarla, certificar su corrección y conservarla como antecedente sin un control externo eficaz.

En el derecho público, la separación de poderes no parte de la certeza de que toda autoridad actuará de mala fe. Parte de una idea más sobria: ninguna autoridad debe ser autora, prueba y juez definitivo de su propia decisión. Las garantías no sustituyen la confianza, pero tampoco dependen de ella.

La analogía con el constitucionalismo debe utilizarse con precisión. No se trata de conceder ciudadanía, derechos políticos ni personalidad jurídica a las máquinas. Tampoco de copiar los poderes Ejecutivo, Legislativo y Judicial dentro de un programa. Se trata de trasladar un principio funcional: cuando una estructura concentra capacidades capaces de afectar a otros, deben distribuirse las competencias y existir controles que no dependan enteramente del controlado.

La razón de esa protección son las personas. El objeto del derecho no es preservar la libertad del agente artificial, sino limitar el poder de quienes diseñan, operan y utilizan el sistema, así como los efectos que la coordinación automática puede producir sobre terceros.

Cinco funciones que conviene distinguir

Una arquitectura jurídicamente responsable debería diferenciar, al menos, cinco funciones. No es indispensable que cada una sea realizada por una empresa o un modelo distinto. Sí es indispensable que sus atribuciones, sus límites y sus relaciones puedan identificarse.

La primera es la función generativa. Produce hipótesis, recomendaciones o proyectos. En nuestro ejemplo, resume el expediente y propone reconocer o rechazar la prestación. Su resultado debe ser entendido como una proposición, no como una decisión investida de autoridad.

La segunda es la función ejecutiva. Convierte una proposición en un efecto: firma, notifica, transfiere fondos, modifica un registro o activa un procedimiento. Éste es el punto en el que una respuesta lingüística puede transformarse en ejercicio de poder. Por eso la autorización para redactar no debe confundirse con la autorización para actuar.

La tercera es la función evaluativa. Comprueba hechos, normas, consistencia y riesgos. Para ser algo más que una formalidad, necesita fuentes adecuadas, criterios distintos cuando corresponda y capacidad efectiva para bloquear o devolver el caso. Un “agente crítico” que sólo puede sugerir cambios, pero no impedir la ejecución, no constituye por sí solo una garantía.

La cuarta es la función memorial. Decide qué se conserva, con qué etiqueta y para qué usos posteriores. Esta función suele parecer administrativa, pero puede tener efectos normativos. Marcar una solución como “verificada” puede convertirla en modelo para casos futuros. La memoria debe conservar no sólo la conclusión, sino también las fuentes, las objeciones y el grado de revisión que recibió.

La quinta es la función de reforma e interrupción. Modifica reglas, permisos o criterios de funcionamiento y permite detener el sistema. Debe estar especialmente protegida porque determina las condiciones de las otras cuatro. Si el mismo circuito puede cambiar las reglas que limitan su actuación y continuar funcionando sin autorización externa, el control se vuelve circular.

Separar estas funciones no significa paralizar la innovación. Significa impedir que una recomendación se convierta imperceptiblemente en acción, que la acción se convierta en prueba de su propio acierto y que esa prueba sea utilizada como precedente indiscutible.

El derecho argentino ya ofrece puntos de apoyo

La Constitución Nacional no fue redactada pensando en agentes artificiales, pero sus garantías no dependen de la tecnología empleada. La defensa en juicio del artículo 18 exige una oportunidad real de conocer y controvertir aquello que puede afectar derechos. El hábeas data del artículo 43 permite acceder, corregir o suprimir datos personales en los supuestos previstos. La distribución constitucional de competencias expresa, además, una desconfianza institucional frente a la acumulación de poder sin control.

El artículo 20 de la Ley 25.326 contiene un antecedente más específico. Establece que las decisiones judiciales y los actos administrativos que impliquen apreciación o valoración de conductas humanas no pueden tener como único fundamento el resultado del tratamiento informatizado de datos personales que suministre un perfil o definición de la personalidad del interesado. Los actos contrarios son insanablemente nulos.

El alcance de la norma debe mantenerse dentro de sus términos. No prohíbe toda automatización, no regula cualquier uso privado de inteligencia artificial y no resuelve por sí sola los problemas de los sistemas multiagente. Su importancia conceptual es otra: reconoce que, en determinadas decisiones, la fuente informática del fundamento no es un detalle técnico. Puede comprometer la validez del acto.

La Resolución SIGEN 197/2026, aplicable al Sector Público Nacional comprendido en la Ley 24.156, aprobó una Guía de Controles de Inteligencia Artificial. Su enfoque incorpora la IA al control interno y la vincula con gestión de riesgos, objetivos institucionales, cumplimiento, integridad, transparencia y responsabilidad. No constituye un estatuto general de la decisión agéntica, pero muestra que la adopción estatal de estas tecnologías debe ser controlable como parte de la actividad administrativa.

En el plano comparado, el Reglamento de Inteligencia Artificial de la Unión Europea exige supervisión humana efectiva para determinados sistemas de alto riesgo y contempla mecanismos de reclamación y explicación en supuestos delimitados. El Convenio Marco del Consejo de Europa ubica el ciclo de vida de la inteligencia artificial dentro de la protección de los derechos humanos, la democracia y el Estado de Derecho.

Estas normas no forman todavía un derecho constitucional completo de los agentes artificiales. Proporcionan piezas: supervisión, explicación, impugnación, control de datos y gestión de riesgos. El desafío consiste en organizarlas alrededor del proceso decisorio completo.

Un bien jurídico para decisiones distribuidas

Una decisión agéntica puede lesionar privacidad, igualdad, patrimonio, libertad o debido proceso. Sin embargo, existe un problema previo que atraviesa todos esos derechos: que nadie pueda reconstruir de manera confiable cómo se pasó de la información inicial al efecto final.

Propongo denominar integridad revisable del proceso decisorio sociotécnico al bien jurídico que protege esa posibilidad. La expresión “sociotécnico” indica que la decisión no pertenece sólo a la máquina: resulta de modelos, datos, herramientas, reglas, operadores y autoridades. La palabra “integridad” exige que esas piezas conserven una relación verificable. Y “revisable” significa que el proceso debe poder ser examinado, controvertido y corregido por una instancia con autoridad real.

No se trata de una categoría ya consolidada en el derecho argentino, sino de una propuesta doctrinal. Su utilidad consiste en reunir garantías que suelen examinarse por separado.

En primer lugar, exige trazabilidad. Debe poder reconstruirse qué instrucción recibió cada componente, qué información utilizó, qué inferencia produjo, quién autorizó el paso siguiente y qué efecto ocurrió. Un registro técnico gigantesco e incomprensible no satisface necesariamente esta exigencia. La trazabilidad debe ser utilizable por quien revisa.

En segundo lugar, exige competencia. Que un sistema sea capaz de realizar una acción no significa que esté jurídicamente autorizado para hacerlo. La cadena de delegaciones debe ser expresa y verificable. La autoridad humana tampoco puede limitarse a aparecer al final si carece de información, tiempo o facultad para cambiar el resultado.

En tercer lugar, exige contradicción efectiva. La persona afectada necesita conocer los hechos, fuentes y criterios relevantes para su caso. Una explicación genérica de cómo funciona el modelo no permite discutir un documento equivocado, una inferencia indebida o una regla mal aplicada.

En cuarto lugar, exige revisión independiente. Independencia no significa necesariamente utilizar otra marca de inteligencia artificial. Significa que el revisor no quede materialmente atado a la conclusión que debe controlar y que disponga de incentivos, información y poder para apartarse de ella.

Finalmente, exige imputación e interrupción. Debe existir un sujeto obligado a responder por cada etapa relevante y una autoridad capaz de suspender, aislar o revertir el proceso. La distribución técnica de tareas no puede convertir la responsabilidad en una propiedad difusa de la red.

La revisión humana puede ser una garantía o una ficción

La frase “hay una persona en el circuito” suele presentarse como respuesta suficiente. No lo es. Un funcionario que recibe cientos de decisiones ya elaboradas, acompañadas por una señal de alta confianza y sin acceso sencillo a las fuentes, puede limitarse a convalidarlas. Su firma aporta apariencia de control, pero no revisión sustantiva.

La intervención humana es efectiva cuando la persona comprende qué debe controlar, recibe evidencia inteligible, cuenta con tiempo razonable, puede pedir información adicional y tiene autoridad para modificar o detener el curso de acción. También necesita protección frente a incentivos que premien la aprobación automática o castiguen el desacuerdo.

De otro modo, el ser humano se convierte en un sumidero de responsabilidad: alguien a quien se atribuye formalmente la decisión que, en la práctica, no estuvo en condiciones de adoptar. La responsabilidad no se preserva añadiendo una firma. Se preserva diseñando una competencia ejercitable.

La memoria y el derecho a detener el sistema

En un sistema tradicional, una decisión errónea afecta principalmente al expediente en el que fue dictada. En un sistema con memoria persistente, puede transformarse en antecedente para decisiones que todavía no existen. Quien controla la memoria decide qué errores se propagan, qué objeciones se conservan y qué resultados serán tratados como ejemplos confiables.

Por esa razón, una conclusión no debería ingresar a la memoria común como “verificada” por el solo hecho de haber sido aprobada por un componente del mismo circuito. Deben preservarse su procedencia, la evidencia utilizada, las revisiones realizadas y las controversias pendientes. Corregir un caso también debería permitir identificar los usos posteriores que dependieron de él.

La posibilidad de detener el sistema es igualmente importante. Cuando los agentes pueden actuar, una impugnación posterior puede llegar tarde: el dinero ya fue transferido, la información difundida o la conclusión incorporada a otros procedimientos. El derecho a detener requiere una persona u órgano facultado, un canal técnico independiente del agente controlado, criterios de activación y un registro de lo ocurrido. Un botón que nadie puede usar a tiempo es sólo una imagen de seguridad.

Hacia un constitucionalismo de la organización agéntica

La inteligencia artificial agéntica no obliga a reconocer máquinas como nuevos ciudadanos. Obliga a mirar jurídicamente el poder que organizamos por medio de ellas.

Cuando los sistemas se limitaban a producir un texto para que una persona lo evaluara, buena parte del riesgo podía tratarse como un problema de calidad de la información. Cuando investigan, coordinan otros agentes, actúan sobre sistemas externos, conservan precedentes y modifican su modo de operar, el problema adquiere dimensión institucional.

En ese punto, la pregunta decisiva deja de ser solamente si el modelo “acierta”. También debemos preguntar quién puede hacer qué, con qué evidencia, bajo qué control, ante quién responde y cómo puede ser detenido. Ésas son preguntas constitucionales en sentido funcional, aunque se apliquen dentro de una administración, una empresa o una plataforma privada.

El desarrollo agéntico parece conducir así a una forma de coordinación social. Y la experiencia jurídica enseña que, cuando una organización social acumula poder, las buenas intenciones no reemplazan la división de funciones, la contradicción, la revisión ni la responsabilidad.

Si un sistema puede escribir la proposición, ejecutarla, certificar su resultado y conservarlo como antecedente, no alcanza con pedirle una explicación. Hace falta impedir que sea, simultáneamente, autor, prueba y juez definitivo de su propia decisión.

Referencias normativas y documentales

·       Constitución de la Nación Argentina, Ley 24.430, especialmente arts. 18 y 43.

·       Ley 25.326 de Protección de los Datos Personales, especialmente arts. 16 y 20.

·       Resolución SIGEN 197/2026 y Guía de Controles de Inteligencia Artificial.

·       Reglamento (UE) 2024/1689, especialmente arts. 14, 85 y 86.

·       Convenio Marco del Consejo de Europa sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho, CETS 225.

La “integridad revisable del proceso decisorio sociotécnico” se presenta como propuesta del autor, no como categoría consolidada del derecho argentino.