PCDD – Global

Lo que la IA no sabe, no recuerda y no hace: El vacío que solo la gobernanza puede llenar

Por Antonio Tejeda Encinas

Investigador doctoral en Estudios Digitales (European University Viadrina Frankfurt- Oder) | Presidente del Comité Euro Americano de Derecho Digital – CEA Digital Law | CEO de Meta Channel Corp.

En el imaginario colectivo, la inteligencia artificial aparece como una tecnología todopoderosa, capaz de responderlo todo, recordarlo todo y hacerlo todo. Pero basta con ponerla a prueba en entornos reales para que surjan las primeras fisuras. No hablamos de errores espectaculares ni de colapsos técnicos, sino de algo más sutil y profundo: una serie de vacíos funcionales que revelan hasta qué punto la IA generativa, por sí sola, no basta.

Este texto parte de una constatación empírica: la IA falla no porque sea defectuosa, sino porque carece de estructura. Y esa estructura no puede improvisarse con código. Tiene que diseñarse, gobernarse y sostenerse.

A partir de una experiencia concreta —repetida ya en decenas de organizaciones— vamos a recorrer los tres límites fundamentales de la IA actual, y cómo solo un marco de gobernanza deliberada puede enfrentarlos de forma responsable.

  1. El límite silencioso de la IA actual

En una empresa mediana del sector legal y tecnológico, se implementa un asistente conversacional basado en uno de los modelos de lenguaje más avanzados del mercado. Todo parece funcionar al principio: respuestas veloces, redacción impecable, incluso cierta “empatía sintética” en la conversación. Pero basta con someter al sistema a una prueba real para que empiecen a aparecer los vacíos.

Una clienta solicita información sobre la nueva regulación europea de inteligencia artificial aplicada a su sector, con una precisión que exige conocer cambios publicados hace apenas unos días. El modelo responde con datos obsoletos. Otro cliente pregunta por el seguimiento de un trámite iniciado semanas atrás, pero el sistema no recuerda nada. Finalmente, una tercera usuaria solicita automatizar una gestión entre dos plataformas conectadas por API. El modelo dice que “no puede hacerlo”.

La empresa no ha fracasado. Simplemente ha descubierto algo que muchas organizaciones están empezando a comprender: la inteligencia artificial generativa, por sí sola, no es suficiente. No porque sea mala, sino porque —como toda tecnología— tiene límites estructurales. Y esos límites no se resuelven simplemente entrenando mejor al modelo, sino suplementándolo con una arquitectura funcional bien diseñada: lo que la IA no sabe, se suple con RAG; lo que no recuerda, con MCP; lo que no puede hacer, con Agentes. Pero incluso esa solución técnica plantea una pregunta más profunda: ¿quién decide cómo y cuándo usar cada componente?

Ahí es donde entra la gobernanza
Lo digo no desde la teoría, sino desde el trabajo diario en contextos donde estos dilemas son reales. En mi investigación doctoral en la Europa-Universität Viadrina, centrada en los modelos regulatorios y la legitimidad de los sistemas algorítmicos, y también en el acompañamiento directo a organizaciones que buscan desplegar IA en entornos complejos, (Meta Channel Corp), he comprobado que lo difícil no es la tecnología, sino el marco que la sostiene. Y cuando ese marco no existe —o es solo retórico—, el riesgo no está en el algoritmo, sino en la falta de estructura humana que lo oriente 

Porque el verdadero debate no está en si la IA puede hacerlo.
Está en quién, cómo y por qué se decide que lo haga.
El verdadero debate es si sabemos gobernarla.

    2. Lo que la IA no sabe: el rol de RAG

Uno de los primeros desencantos que experimentan las empresas al integrar IA generativa es este: el modelo “habla bonito”, pero no sabe. No en el sentido profundo del término. Sabe patrones, estadística, lenguaje, estructura. Pero no tiene acceso real al conocimiento vivo, actualizado, dinámico. No consulta bases de datos en tiempo real, no navega en legislación emergente, no lee el BOE de ayer.

El modelo es, en esencia, un espejo estadístico de lo que ha aprendido hasta la fecha de corte de su entrenamiento. Puede simular conocimiento, pero no lo tiene. Y cuando el contexto exige precisión —como en una consulta legal, técnica o médica— ese vacío no es un fallo menor: es un riesgo estructural.

Aquí es donde entra en escena el primer componente de una arquitectura funcional: el RAG (Retrieval-Augmented Generation). En lugar de confiar ciegamente en lo que el modelo “cree recordar”, el sistema se conecta a fuentes externas en tiempo real, recupera información específica y luego la introduce en la generación de la respuesta.

¿Funciona? Sí. ¿Resuelve el problema? Parcialmente.
RAG amplía el alcance del modelo, lo saca de su burbuja de entrenamiento y le permite dialogar con el presente. Pero esa conexión con fuentes externas no es neutra. Supone una decisión política, técnica y jurídica.

El problema aquí ya no es técnico, sino institucional. No basta con conectar el modelo a una base de datos: alguien debe decidir qué entra, qué se queda fuera, y bajo qué criterios. Esa es una decisión de gobernanza. Porque cada fuente externa es también un vector de riesgo: de desinformación, de contaminación semántica, de fallo operativo.

Un ejemplo claro: si se implementa RAG para responder a clientes sobre ayudas públicas disponibles, y se conecta sin filtro a foros o resúmenes no oficiales, el sistema puede generar una recomendación que acabe provocando perjuicios jurídicos al usuario. Lo que parecía una solución inteligente, se convierte en una trampa peligrosa.

Por eso, usar RAG no es simplemente una mejora funcional. Es una elección estratégica que debe pasar por un marco de gobernanza claro, con criterios de selección, validación y auditoría de fuentes.

  1. 3. Lo que la IA no recuerda: la función crítica de MCP

Imagina que cada vez que hablas con tu abogado, él te escucha con atención, responde con solvencia… y luego lo olvida todo. La siguiente vez que acudes, no recuerda ni tu nombre, ni el tema, ni las decisiones ya tomadas. ¿Le confiarías la resolución de un conflicto complejo? Probablemente no.

Eso mismo ocurre con los sistemas de IA tradicionales. Salvo que se les haya configurado una memoria de contexto extendida, cada conversación comienza desde cero. Puede que parezca coherente en el momento, pero carece de continuidad cognitiva. Y cuando se busca construir relaciones, asesoramiento prolongado o seguimiento de tareas, eso es un problema grave.

La solución técnica que ha surgido para compensar esta limitación es la Memoria de Contexto Prolongada (MCP). En lugar de procesar únicamente los últimos miles de tokens —como hacían los primeros modelos— ahora es posible conservar, integrar y reinterpretar fragmentos anteriores de la interacción, incluso a lo largo de sesiones distintas. Algunos modelos ya integran capacidades de memoria de cientos de miles de tokens o incluso persistencia entre días.

Pero esto no es solo un avance técnico: es un punto de inflexión funcional.
Una IA con MCP ya no solo genera texto, sino que construye trayectoria. Puede acompañar procesos, integrar correcciones pasadas, anticipar necesidades. Puede entender que una usuaria está tramitando un expediente, que ayer pidió información complementaria, y que hoy busca avanzar un paso más.

Sin embargo, esta ventaja abre una nueva dimensión de riesgos:

Un ejemplo evidente: una IA jurídica con MCP mal gobernada podría almacenar involuntariamente antecedentes confidenciales de diferentes clientes, mezclarlos o usarlos fuera de contexto. El resultado no sería solo un fallo técnico, sino una violación directa de derechos fundamentales.

Por eso, como en el caso de RAG, el problema no es solo implementar MCP, sino gobernarla. La memoria no es neutra: es selección, es persistencia, es poder.

Estas preguntas no se resuelven en el código. Se resuelven en el marco político de decisiones, roles, documentación y control. En una palabra: gobernanza.

Para quienes todavía creen que estos elementos son solo mejoras técnicas, conviene detenerse un momento y observar su peso real. Cada uno de estos componentes no solo añade capacidad, también multiplica los vectores de riesgo.

Componente: Qué resuelve | Qué añade Qué exige en gobernanza
RAG (Retrieval-Augmented Generation)

Qué resuelve: El modelo no sabe lo actual o específico
Qué añade: Acceso a fuentes externas en tiempo real
Qué exige en gobernanza: Validación de fuentes, trazabilidad, control de sesgo y licencias

MCP (Memoria de Contexto Prolongada)

Qué resuelve: El modelo no recuerda
Qué añade: Persistencia de contexto entre interacciones
Qué exige en gobernanza: Políticas de retención, anonimización, derechos de acceso y supresión

Agentes

Qué resuelve: El modelo no actúa
Qué añade: Capacidad de ejecutar tareas y decisiones
Qué exige en gobernanza: Límites operativos, auditoría, intervención humana y atribución de responsabilidad

No es solo un resumen: es un mapa de decisiones. Cada uno implica una cadena de responsabilidades. Y sin un marco de gobernanza sólido, lo que hoy parece una ventaja competitiva, mañana puede convertirse en un escándalo regulatorio o un fallo ético irreversible.

  1. Lo que la IA aún no puede hacer: el salto operativo de los Agentes

Hasta ahora, la inteligencia artificial ha demostrado ser notablemente eficaz en tareas de análisis, redacción o conversación. Pero cuando se trata de hacer, el modelo se detiene. No puede reservar una sala, enviar un informe, iniciar un proceso entre plataformas o ejecutar tareas concretas dentro de un flujo real de trabajo. En otras palabras: puede decir lo que hay que hacer, pero no puede hacerlo.

Ahí es donde entran los agentes inteligentes.
A diferencia del modelo base, que genera texto o código pero no actúa sobre entornos externos, un agente es un sistema autónomo que recibe una misión, accede a herramientas, se comunica con APIs o interfaces, toma decisiones parciales y actúa para lograr un objetivo concreto. Puede integrarse en un CRM, mover archivos en la nube, coordinar con otros sistemas o incluso interactuar con otros agentes.

Ejemplo práctico: una asesoría fiscal integra un agente que recoge datos de distintos sistemas internos, accede al portal tributario correspondiente, rellena formularios, valida los datos y presenta la declaración sin intervención humana directa. El usuario sólo valida al final.

Funciona. Y fascina. Pero también preocupa.
Porque a diferencia de RAG o MCP, que amplían capacidades internas del modelo, el agente actúa hacia fuera, con consecuencias reales. Y eso significa que ya no estamos en el terreno de la generación de lenguaje, sino en el de la delegación de agencia.

Esto ya no es ciencia ficción. Modelos como AutoGPT, BabyAGI o sistemas más sofisticados en entornos corporativos ya lo están haciendo. Automatizan ciclos completos, gestionan tareas complejas e incluso optimizan decisiones basadas en criterios dinámicos.

Pero ahí está la frontera: cuando el modelo deja de ser herramienta y empieza a ser operador, la gobernanza deja de ser opcional. Un agente necesita más que código: necesita un marco de control, un protocolo de intervención humana, una política de rendición de cuentas. Debe poder ser auditado, pausado, corregido. Y sobre todo, debe operar dentro de límites definidos no por su capacidad técnica, sino por decisiones humanas conscientes.

Si no se gobierna, el agente no es una solución: es un riesgo operacional con autonomía opaca.
Para comprender la magnitud del salto que suponen los agentes, basta con contrastarlos con los modelos generativos clásicos:

Diferencias clave entre modelo generativo clásico y agente autónomo

  1. Capacidad funcional
  1. Dependencia de instrucciones humanas
  1. Gestión de memoria
  1. Rol operativo
  1. Requisitos de control

La diferencia no es cuantitativa, es cualitativa. El paso de herramienta a actor operativo transforma el marco entero de responsabilidad, supervisión y control.

  1. La arquitectura funcional no es suficiente sin gobernanza

Llegados a este punto, puede parecer que tenemos la solución perfecta:

Pero esa arquitectura, por muy sofisticada que sea, no decide por sí misma cómo, cuándo ni por qué se activa cada componente. Y ese es precisamente el núcleo de la cuestión: la arquitectura funcional no basta. Hace falta gobernanza.

¿Qué entendemos por gobernanza de la IA en este contexto?
No es una checklist ética ni un manual técnico.
– Tampoco es un simple cumplimiento normativo.
– Es una estructura deliberativa y operativa que responde a estas preguntas clave:

Estas no son preguntas para un ingeniero. Son decisiones institucionales. Implican al responsable de cumplimiento, al comité ético, al área legal, a la dirección técnica. Requieren diseño organizativo, documentación, asignación de roles, evaluación de riesgos, definición de protocolos de control y trazabilidad.

La arquitectura funcional responde al “cómo”. La gobernanza responde al “por qué”, “para qué” y “con qué consecuencias”.
Y esa diferencia lo cambia todo. Porque no hay solución tecnológica que funcione sin contexto humano, político, normativo.
Una IA capaz de hacer cosas sin estructura de gobernanza es como una empresa sin administración: puede operar, pero no puede rendir cuentas.

Por eso, quienes ven en la IA una caja mágica que todo lo soluciona están perdiendo de vista lo esencial: no se trata solo de lo que una máquina puede hacer, sino de cómo se decide que lo haga, bajo qué condiciones y con qué control.

  1. Gobernanza IA aplicada: del marco ético a la supervisión funcional

Hablar de gobernanza IA no es teorizar sobre principios abstractos ni redactar manifiestos éticos que nadie aplica. Es, ante todo, construir un sistema funcional de control, supervisión y toma de decisiones en torno a la inteligencia artificial desplegada. Un sistema que no solo impida el daño, sino que dé sentido y legitimidad al uso de la tecnología.

La gobernanza empieza con una pregunta incómoda:
¿Qué parte de la IA está realmente bajo control humano, y cuál ya opera en piloto automático?
A partir de ahí, se despliegan mecanismos concretos:

  1. Registro y trazabilidad
    Toda decisión técnica relevante (activar RAG, configurar una MCP, delegar en un agente) debe estar documentada:
    • ¿Qué se hace?
    • ¿Quién lo decide?
    • ¿Qué riesgos se evaluaron?
    • ¿Con qué respaldo jurídico o ético?
      No se trata de burocracia, sino de responsabilidad verificable.
  2. Validación de fuentes y datos
    RAG no puede operar sobre cualquier cosa. No basta con que una web exista.
    Se requiere una política clara de:
    • validación de fuentes (fiabilidad, oficialidad, actualidad),
    • revisión periódica de integridad y licencias,
    • exclusión de contenidos contaminantes o manipuladores.
  3. Control de persistencia y olvido
    Una MCP mal gestionada puede convertirse en un archivo ilegal.
    Se debe establecer:
    • política de caducidad de memoria,
    • reglas de seudonimización/anonimización,
    • mecanismos de purgado y acceso para los usuarios.
      La memoria debe ser gobernada, no solo habilitada.
  4. Límites operativos para agentes
    Ningún agente debe actuar sin una arquitectura de límites:
    • definición de qué puede y qué no puede hacer,
    • escenarios que exigen intervención humana,
    • registro de logs de actividad,
    • sistema de alertas y parada de emergencia.
      El agente no es libre: es delegado, y como tal, debe tener instrucciones, supervisión y consecuencias.
  5. Atribución de responsabilidad
    Todo fallo debe tener un responsable claro.
    Eso exige:
    • mapas de responsabilidad funcional (quién responde por qué módulo),
    • procedimientos de revisión post-incidente,
    • protocolos de notificación interna y externa.
      La IA no puede ser el chivo expiatorio: el fallo de un sistema es un fallo de gobernanza, no de algoritmo.
  6. Conexión con normativas externas
    Nada de esto opera en el vacío.
    El AI Act, el RGPD, la Directiva de responsabilidad por IA o incluso normas ISO (como la ISO/IEC 42001) son ya marcos operativos vinculantes o recomendables. Una buena gobernanza IA no solo protege internamente: es un escudo normativo frente a reguladores y litigios.

En síntesis: gobernar una arquitectura RAG–MCP–Agentes no es un lujo, es una obligación estructural. Y quien no lo hace, está jugando a ciegas con un sistema que puede aprender, recordar y actuar… sin supervisión.

  1. Decidir no es programar

Durante años, las decisiones tecnológicas estuvieron en manos de ingenieros. Se asumía que diseñar bien el sistema equivalía a tomar buenas decisiones. Que programar bien era suficiente. Pero el despliegue real de arquitecturas inteligentes —capaces de acceder a conocimiento externo, construir memoria y ejecutar acciones— ha hecho saltar por los aires esa suposición.

Hoy, programar no es decidir.
Y decidir no es un acto técnico: es una responsabilidad institucional, ética y política.

La combinación RAG–MCP–Agentes representa una solución brillante a los límites funcionales de la IA. Pero esa solución, sin gobernanza, es tan peligrosa como eficaz. Puede desinformar, puede invadir, puede actuar sin límites. Y no porque esté mal diseñada, sino porque nadie ha definido qué está bien y qué no, qué está permitido y qué debe ser supervisado.

Por eso, el futuro no se juega en el laboratorio, sino en el modelo de gobernanza que adoptemos. La verdadera transformación no está en lo que la IA puede hacer, sino en cómo las instituciones humanas deciden gobernarla.

Porque al final del día, no hay nada más poderoso —ni más arriesgado— que una máquina que actúa… cuando nadie sabe quién la está supervisando.

Sobre el autor

Antonio Tejeda Encinas es Doctor of Juridical Science (SJD) / Doctor iuris por la Central European University (Budapest, 2014), con la tesis “Instrumentos jurídicos de armonización normativa y soberanía regulatoria: un estudio aplicado entre la UE, América Latina y Turquía (2008–2014)”. Actualmente es investigador doctoral en Estudios Digitales en la Europa-Universität Viadrina Frankfurt (Oder), donde desarrolla la tesis “Algorithmic Ethics and Legal Legitimacy: Regulatory Models for Digital Governance in Europe and Latin America”, centrada en la legitimidad algorítmica, la gobernanza tecnológica y la transformación jurídica en contextos automatizados.
Es presidente del Comité Euro Americano de Derecho Digital – CEA Digital Law, y CEO de Meta Channel Corp., firma internacional con sede en Europa especializada en representación jurídica, regulación algorítmica y diseño de soluciones tecnológicas para empresas e instituciones que operan en entornos multi jurisdiccionales.

Referencias

Floridi, L., & Cowls, J. (2019). A Unified Framework of Five Principles for AI in Society. Harvard Data Science Review, 1(1).

High-Level Expert Group on Artificial Intelligence. (2019)Ethics Guidelines for Trustworthy AI. European Commission. 

Parlamento Europeo y Consejo de la Unión Europea. (2024). Reglamento (UE) 2024/1689 relativo a la inteligencia artificial (AI Act). Diario Oficial de la Unión Europea, 12.07.2024. 

Unión Europea. (2016). Reglamento General de Protección de Datos (RGPD) – Reglamento (UE) 2016/679

International Organization for Standardization. (2023). ISO/IEC 42001:2023 – Artificial Intelligence Management System

IBM. (2025). AI Agents in 2025: Expectations vs. Reality

Sokolnicki, Z. (2025). Top AI Agent Research Papers of 2025: Pioneering the Future of AI Agents. 

Holistic AI. (2025)AI Agents are Changing Business, Governance will Define Who Wins

Splunk. (2025). AI Governance in 2025: A Full Perspective on Governance

Forbes. (2025). AI Governance In 2025: Expert Predictions On Ethics, Tech, And Law

 

Salir de la versión móvil