Cómo evaluar la calidad de una IA para contratación pública: fiabilidad y trazabilidad
La incorporación de herramientas de inteligencia artificial al trabajo diario en contratación pública ha dejado de ser una posibilidad futura para convertirse en una realidad presente. Tanto los órganos de contratación como las empresas licitadoras utilizan ya asistentes de IA para analizar pliegos, resolver consultas normativas o generar borradores de documentación. Sin embargo, no todas las herramientas ofrecen el mismo nivel de rigor, y las consecuencias de confiar en una respuesta incorrecta en este ámbito pueden ser jurídicamente graves.
Evaluar la calidad de una herramienta de IA para contratación pública exige criterios distintos a los que se aplican en otros contextos. La creatividad o la fluidez del lenguaje son secundarias; lo que importa es la exactitud jurídica, la capacidad de citar fuentes verificables y la actualización real de la información normativa. Este artículo recoge los criterios que deben guiar esa evaluación, tanto para usuarios individuales como para organizaciones que valoran una herramienta antes de integrarla en sus procesos.
Por qué la calidad de la IA importa especialmente en contratación
La contratación pública opera dentro de un marco legal denso y cambiante. La Ley 9/2017, de Contratos del Sector Público (LCSP), sus reglamentos de desarrollo, las directivas europeas, la jurisprudencia del Tribunal de Justicia de la UE y las resoluciones de los tribunales de recursos contractuales forman un cuerpo normativo que se actualiza con frecuencia y que admite pocas imprecisiones. Una respuesta errónea sobre un plazo, un umbral o un requisito de solvencia puede derivar en la exclusión de una oferta, en la nulidad de un procedimiento o en una corrección financiera en contratos con fondos europeos.
Los modelos de lenguaje de propósito general no han sido entrenados específicamente sobre esta normativa, ni tienen acceso garantizado a las versiones vigentes de los textos legales o a los expedientes concretos que maneja cada usuario. Esto los hace útiles para tareas genéricas, pero insuficientes cuando la precisión jurídica no es negociable. La diferencia entre una IA especializada y una herramienta genérica no es de presentación; es de arquitectura, de fuentes y de responsabilidad sobre el resultado.
Entender qué hace que una IA sea fiable en este contexto permite tomar decisiones de adopción tecnológica más informadas y evitar el riesgo de incorporar herramientas que generan una falsa sensación de seguridad jurídica. Los criterios que se exponen a continuación son aplicables tanto por un técnico de contratación que evalúa una plataforma concreta como por un responsable de compras de una empresa que quiere garantizar que su equipo trabaja con información verificada.
Criterios para evaluar la fiabilidad de una IA en contratación
La fiabilidad de una herramienta de IA en contratación pública se mide principalmente por su capacidad para responder con exactitud jurídica y para gestionar de forma transparente la incertidumbre. No basta con que las respuestas sean plausibles o estén bien redactadas; deben ser verificables, actualizadas y honestas sobre sus propios límites. A continuación se detallan los criterios más relevantes.
Citación de fuentes verificables
Una herramienta fiable no solo ofrece una respuesta; identifica la fuente concreta de la que proviene esa respuesta. En contratación pública, esto significa citar el artículo específico de la LCSP, el número de resolución del TACRC o el pasaje del pliego analizado que sustenta la conclusión. Esta capacidad de citar fuentes verificables permite al usuario contrastar la información de forma independiente y detectar errores antes de actuar sobre ellos.
La ausencia de citación es una señal de alerta. Los modelos que responden sin exponer sus fuentes dificultan la auditoría del razonamiento y trasladan toda la responsabilidad de verificación al usuario. En un entorno profesional donde las decisiones tienen consecuencias jurídicas y económicas directas, esa opacidad no es admisible.
Gestión honesta de la incertidumbre
Una IA de calidad reconoce los límites de su conocimiento. Cuando no dispone de información suficiente para responder con precisión, debe indicarlo explícitamente en lugar de generar una respuesta plausible pero inventada. Este fenómeno, conocido como alucinación, es uno de los riesgos más documentados en los sistemas de inteligencia artificial y resulta especialmente peligroso en contratación pública, donde una referencia normativa inexistente puede llevar a decisiones incorrectas.
Evaluar este criterio es sencillo en la práctica: se puede consultar a la herramienta sobre una resolución administrativa ficticia, un artículo inexistente de la LCSP o una norma autonómica no publicada. Una herramienta fiable reconocerá que no dispone de esa información; una herramienta propensa a alucinaciones puede generar una respuesta detallada y aparentemente coherente sobre algo que no existe.
Actualización real de la información normativa
La normativa de contratación pública cambia con regularidad. Los umbrales SARA se actualizan cada dos años mediante reglamento europeo, las instrucciones de las Juntas de Contratación se publican periódicamente, y los tribunales de recursos emiten resoluciones que clarifican o modifican la aplicación de preceptos concretos. Una IA que opera sobre una base de conocimiento estática, sin acceso a las versiones vigentes de los textos, puede responder con información correcta en el momento de su entrenamiento pero obsoleta en el momento de la consulta.
Para evaluar este criterio conviene preguntar a la herramienta por cambios normativos recientes o por el estado actual de umbrales y plazos que tienen actualizaciones periódicas conocidas. La respuesta debe reflejar no solo el dato, sino también cuándo fue la última actualización de la fuente consultada.
Criterios para evaluar la trazabilidad de una IA en contratación
La trazabilidad es la capacidad de reconstruir el camino desde una pregunta hasta la respuesta: qué fuentes se consultaron, qué pasajes se utilizaron, qué razonamiento se siguió. En contratación pública, la trazabilidad no es solo una cuestión de transparencia técnica; es una exigencia funcional para quien debe justificar una decisión ante un interventor, un tribunal administrativo o un auditor de fondos europeos.
Arquitectura RAG frente a modelos puramente generativos
Los sistemas basados en RAG (Retrieval-Augmented Generation) recuperan información de una base documental específica antes de generar la respuesta, en lugar de producirla únicamente a partir de los patrones aprendidos durante el entrenamiento. Esta diferencia arquitectónica tiene implicaciones directas sobre la trazabilidad: en un sistema RAG, es posible identificar qué documentos se consultaron para elaborar una respuesta concreta, lo que permite verificar la cadena de razonamiento.
Para una herramienta de contratación pública, la base documental del sistema RAG debe incluir la normativa vigente en versión consolidada, jurisprudencia y resoluciones actualizadas, y, cuando sea relevante, los documentos del expediente concreto que se está analizando. La calidad de la base documental es tan importante como la calidad del modelo lingüístico que la utiliza.
Registro de decisiones y auditabilidad
Una herramienta trazable genera un registro que permite revisar qué se consultó, cuándo y con qué resultado. Esta capacidad de auditabilidad es especialmente relevante para los órganos de contratación, que deben poder demostrar que las decisiones del expediente se basan en información verificada y no en una respuesta no contrastada de un sistema automático. También lo es para las empresas licitadoras que usan la IA para analizar pliegos y preparar ofertas; disponer de un registro de los análisis realizados refuerza la coherencia del proceso interno.
La auditabilidad no requiere necesariamente un sistema de registro complejo: puede materializarse en la capacidad de la herramienta de mostrar, junto a cada respuesta, los fragmentos documentales que la sustentan y la posibilidad de exportar esa información para su archivo.
Cumplimiento normativo de la propia herramienta: ENS y RGPD
La evaluación de una IA para contratación pública no puede limitarse a su rendimiento funcional; debe incluir también el análisis del marco regulatorio que gobierna a la propia herramienta. En el contexto español y europeo, tres marcos son especialmente relevantes y su verificación debe formar parte de cualquier proceso de adopción tecnológica por parte de un órgano de contratación o de una empresa que opera en el sector público.
El Esquema Nacional de Seguridad (ENS), regulado por el Real Decreto 311/2022, de 3 de mayo, establece los requisitos de seguridad aplicables a los sistemas de información utilizados por las administraciones públicas y por los prestadores de servicios que les dan soporte. Una herramienta de IA que procesa documentación de expedientes de contratación puede estar sujeta a estos requisitos en función de la categoría de seguridad que corresponda al nivel de sensibilidad de la información tratada; la determinación concreta depende del análisis de riesgos del sistema.
El Reglamento (UE) 2016/679 (RGPD) impone obligaciones sobre el tratamiento de datos personales que pueden estar presentes en expedientes de contratación, especialmente en contratos de servicios o en documentación relativa a personas físicas. La herramienta debe poder identificar qué datos procesa, con qué base jurídica, durante cuánto tiempo y con qué garantías de seguridad. Esto es particularmente relevante cuando la IA accede a documentación de licitaciones que contiene datos de trabajadores, solvencia empresarial o información comercial sensible.
Desde agosto de 2024, el Reglamento (UE) 2024/1689 de Inteligencia Artificial (AI Act) ha añadido una capa regulatoria adicional. Los sistemas de IA que asisten en determinados procesos de toma de decisiones administrativas o en la gestión de servicios públicos esenciales pueden quedar clasificados como sistemas de alto riesgo según el Anexo III del Reglamento, en función de su uso concreto, lo que conlleva obligaciones específicas de documentación técnica, registro en la base de datos de la UE y supervisión humana. Una herramienta que no pueda acreditar su posición regulatoria frente al AI Act es una herramienta incompleta para un entorno de contratación pública profesional.
Tendios como referencia práctica de evaluación
Aplicar estos criterios a una herramienta concreta permite contrastar si las afirmaciones del proveedor se corresponden con la arquitectura real del producto. Tendios opera sobre una arquitectura RAG con acceso a fuentes normativas actualizadas, lo que permite que cada respuesta pueda apoyarse en pasajes específicos de leyes, resoluciones o pliegos del expediente analizado. Cuando el sistema no dispone de información suficiente, lo indica explícitamente en lugar de generar una respuesta especulativa.
En el plano del cumplimiento normativo, Tendios incorpora medidas de seguridad alineadas con el ENS y con el RGPD para el tratamiento de la documentación de expedientes. Esto hace que la herramienta sea evaluable no solo por su rendimiento funcional, sino también por su posición frente a los marcos regulatorios que afectan a los sistemas de IA en el sector público. El artículo sobre seguridad de la IA en el sector público profundiza en estos aspectos desde una perspectiva técnica y normativa.
Preguntas frecuentes sobre la evaluación de IA en contratación pública
¿Qué diferencia a una IA especializada en contratación de un modelo de lenguaje genérico?
La diferencia principal es arquitectónica y de fuentes. Un modelo genérico genera respuestas a partir de patrones estadísticos aprendidos durante el entrenamiento, sin acceso garantizado a las versiones vigentes de la normativa. Una IA especializada en contratación opera sobre una base documental actualizada y específica del sector, cita las fuentes que sustentan cada respuesta y gestiona la incertidumbre reconociendo los límites de su conocimiento en lugar de rellenarlos con información inventada.
¿Cómo puedo detectar que una IA está generando alucinaciones en respuestas sobre contratación?
El método más directo es verificar de forma independiente al menos una parte de cada respuesta relevante, especialmente cuando se citan artículos de ley o resoluciones administrativas específicas. También puede consultarse a la herramienta sobre normativa ficticia o sobre resoluciones con datos erróneos: una herramienta fiable reconocerá que no dispone de esa información, mientras que una herramienta propensa a alucinaciones generará una respuesta coherente pero inventada.
¿El cumplimiento del ENS es obligatorio para herramientas de IA usadas por administraciones públicas?
El ENS es de aplicación obligatoria para los sistemas de información de las administraciones públicas incluidas en su ámbito subjetivo y para los proveedores que tratan información de dichos sistemas. Si la herramienta de IA procesa documentación de expedientes de contratación o accede a sistemas de la administración, puede estar sujeta a los requisitos del ENS según la categoría de seguridad del sistema, determinada mediante análisis de riesgos. La verificación de este cumplimiento forma parte de la diligencia debida en la adopción de cualquier herramienta tecnológica por parte de un órgano de contratación.
¿Qué implica el AI Act para las herramientas de IA usadas en contratación pública?
El Reglamento (UE) 2024/1689 clasifica como sistemas de alto riesgo a determinados sistemas de IA usados en procesos de toma de decisiones en el ámbito público, en función del uso concreto y del ámbito recogido en su Anexo III. Las obligaciones incluyen documentación técnica específica, registro en la base de datos de la UE, supervisión humana de las decisiones asistidas y garantías de transparencia para los usuarios. Las fases de aplicación del Reglamento se despliegan de forma progresiva desde agosto de 2024, por lo que las herramientas sin hoja de ruta de cumplimiento pueden generar riesgos regulatorios para los órganos que las adoptan. El artículo sobre el AI Act y los contratos TIC desarrolla estas obligaciones con mayor detalle.
¿Qué criterios deben incluirse en un pliego cuando una administración quiere contratar una herramienta de IA?
Los pliegos para contratar herramientas de IA deben incluir requisitos sobre la clasificación del sistema según el AI Act, el nivel de cumplimiento del ENS exigido, las garantías de trazabilidad y auditabilidad, las obligaciones de actualización de la base documental, y las condiciones de tratamiento de datos personales conforme al RGPD. El artículo sobre ciberseguridad en pliegos TIC ofrece criterios adicionales aplicables a este tipo de contratación.
Conclusiones sobre la evaluación de IA en contratación pública
Evaluar la calidad de una herramienta de IA para contratación pública no es una tarea técnica reservada a equipos de tecnología; es una decisión estratégica con implicaciones jurídicas directas. Los criterios de fiabilidad se articulan en torno a la citación de fuentes verificables, la gestión honesta de la incertidumbre y la actualización real de la información normativa. Los criterios de trazabilidad exigen una arquitectura que permita reconstruir el razonamiento de cada respuesta y generar registros auditables.
A estos criterios funcionales se suma el cumplimiento del marco regulatorio aplicable a la propia herramienta: el ENS para los sistemas que operan en entornos de la administración pública, el RGPD para el tratamiento de datos personales presentes en la documentación de expedientes, y el AI Act para los sistemas que asisten en determinados procesos de toma de decisiones administrativas. Una herramienta que no puede acreditar su posición frente a estos marcos no es simplemente incompleta; puede generar responsabilidades para quienes la adoptan sin la diligencia debida.
Tendios ha construido su arquitectura sobre estos principios: trazabilidad documental en cada respuesta, ausencia de alucinaciones mediante el reconocimiento explícito de los límites del sistema, y cumplimiento de los marcos de seguridad aplicables al sector público. Esos no son atributos de presentación; son criterios técnicos verificables que cualquier organización debería exigir antes de integrar una herramienta de IA en sus procesos de contratación.
