La IA de caja negra es cualquier sistema de inteligencia artificial cuyas entradas y operaciones no son visibles para el usuario u otra parte interesada. Una caja negra, en un sentido general, es un sistema impenetrable.
El modelado de aprendizaje profundo generalmente se realiza a través del desarrollo de caja negra: el algoritmo toma millones de puntos de datos como entradas y correlaciona características de datos específicas para producir una salida. Ese proceso es en gran parte autodirigido y generalmente es difícil de interpretar para los científicos de datos, los programadores y los usuarios.
Cuando el funcionamiento del software utilizado para operaciones y procesos importantes dentro de una organización no se puede ver o comprender fácilmente, los errores pueden pasar desapercibidos hasta que causan problemas tan grandes que se hace necesario investigar y el daño causado puede ser costoso o incluso imposible de reparar.
El sesgo de la IA, por ejemplo, puede introducirse en los algoritmos como un reflejo de prejuicios conscientes o inconscientes por parte de los desarrolladores, o pueden infiltrarse a través de errores no detectados. En cualquier caso, los resultados de un algoritmo sesgado estarán sesgados, potencialmente de una manera que resulte ofensiva para las personas afectadas. El sesgo en un algoritmo puede provenir de datos de entrenamiento cuando los detalles sobre el conjunto de datos no se reconocen. En una situación, la IA utilizada en una aplicación de contratación se basó en datos históricos para realizar selecciones para los profesionales de TI. Sin embargo, debido a que la mayoría del personal de TI históricamente eran hombres, el algoritmo mostró un sesgo hacia los solicitantes masculinos.
Si tal situación surge de la IA de caja negra, puede persistir el tiempo suficiente para que la organización cause daños a su reputación y, potencialmente, acciones legales por discriminación. Problemas similares también podrían ocurrir con prejuicios contra otros grupos, con los mismos efectos. Para evitar tales daños, es importante que los desarrolladores de IA creen transparencia en sus algoritmos y que las organizaciones se comprometan a rendir cuentas por sus efectos.