Golden set (agentes de IA)
Conjunto de procedimientos y datos diseñados, repetibles y preparados para comparar el resultado actual de un sistema con un resultado de referencia considerado correcto. Las orientaciones de la AEPD sobre IA agéntica lo recogen como práctica de «golden testing» dentro de la evaluación continua del agente basada en evidencias (apartado VII.B, pp. 57-58); el resultado de referencia se denomina golden result o golden sample.
Es la prueba que se repite con los mismos casos para ver si el agente sigue respondiendo como debe después de un cambio.
Qué obligaciones lleva asociadas
Es una buena práctica, no una obligación legal: forma parte de las técnicas de test de validación que proponen las orientaciones. Sirve a obligaciones que sí son legales: que los datos personales sean exactos y, si fuera necesario, actualizados (artículo 5, apartado 1, letra d), del Reglamento (UE) 2016/679) y que el responsable del tratamiento sea capaz de demostrar que respeta los principios (artículo 5, apartado 2), ambas aplicables desde el 25/05/2018.
Qué no es
No es una prueba única antes del despliegue: su valor está en repetirse, porque permite la comprobación repetible y la evaluación de desviaciones ante cambios en los términos legales y en la funcionalidad de los sistemas (p. 58). Tampoco es una prueba A/B ni un benchmark, que las orientaciones mencionan como métodos de evaluación distintos (p. 57). Y no basta por sí solo para repetir una decisión concreta: para eso las orientaciones proponen además mecanismos de repetibilidad, como mantener un registro de la configuración en un proceso de decisión (apartado VII.F, p. 69).
El matiz que casi nadie recoge
Un golden set vale lo que valen sus casos de referencia: si no incluye las situaciones que afectan a personas —una solicitud de ejercicio de derechos, un dato inexacto, una categoría especial de datos— comprobará que el agente sigue igual en lo que menos importa. Y como las orientaciones advierten que, sin un control estricto de las fuentes, los servicios, sus versiones y la memoria, no es posible anticipar la salida de un sistema agéntico (apartado IV.D, p. 30), la comparación con el resultado de referencia tiene que fijar qué diferencia se tolera.