Se produce una falta de comprensibilidad de los procesos de toma de decisiones que puede desembocar en resultados discriminatorios y sesgados que afectarían los derechos e intereses jurídicos de los ciudadanos. Esta opacidad también dificulta la evaluación de conformidad que ha de realizar el correspondiente organismo regulador que audite el sistema de IA. La falta de transparencia supone una difícil identificación de posibles vulnerabilidades o de aplicación de salvaguardias de mitigación de riesgos. Encontrar solución a estos problemas supone un reto regulatorio sin precedentes.
Estas dificultades solo pueden abordarse a través de una promoción de la transparencia, la explicabilidad y la responsabilidad en los sistemas de IA. Para ello resultan clave la IA explicable (XAI) y los modelos de código abierto, buscando la primera salvar la distancia entre la complejidad delos sistemas de IA y la necesidad de su interpretación humana, mientras que los segundos son eficaces para conceder pleno acceso a sus algoritmos y datos. Esta mayor transparencia producirá un mayor escrutinio y colaboración entre desarrolladores, investigadores y usuarios.
La Ley de Inteligencia Artificial que se está aprobando en la Unión Europea aborda cuestiones relacionadas con el efecto caja negra, promoviendo la transparencia y la responsabilidad en el desarrollo y uso de sistemas de IA.