Aprendizaje profundo reforzado (deep reinforcement learning)
NATURALEZA
Es un concepto de IA propiamente dicho.
CONCEPTO
El aprendizaje profundo reforzado o deep reinforcement learning es la combinación del aprendizaje profundo (deep learning) y del aprendizaje reforzado (reinforcement learning), que se han examinado en otras entradas de este glosario. Es, además, una nueva generación de las técnicas de aprendizaje automático (machine learning) pues permite a la máquina resolver un abanico más amplio de tareas de decisión complejas que hace unos años no podía resolver.
Como en el aprendizaje reforzado, se requiere un entorno con el que la máquina interactúe. Dicho entorno puede ser un proceso de decisión real o una simulación de este. La máquina aprende por condicionamiento, es decir, si de una decisión obtiene un resultado beneficioso, la repetirá en el futuro. En cambio, si el resultado es perjudicial, evitará volver a tomar esa decisión. De esta forma, la máquina aprende a optimizar un proceso de decisión y a desarrollar estrategias a largo plazo que maximicen los beneficios.
El aprendizaje profundo reforzado utiliza las redes neuronales, que son una arquitectura de Machine learning utilizada para generalizar el conocimiento. Es decir, mediante las redes neuronales se puede encontrar patrones en los datos y aplicar el conocimiento adquirido en otros datos que no se han visto previamente.
IMPORTANCIA
Como en los otros tipos de aprendizaje que se examinan en este glosario, el conocimiento de este concepto es importante porque es una de las nuevas generaciones de aprendizaje automático y otra de las estrategias que una IA puede utilizar.
Asimismo, para que la máquina aprenda en el entorno con el que interactúa son también necesarios una gran cantidad de datos (aunque no estén estructurados). Por lo tanto, es también importante conocer la procedencia de esos datos, cómo se obtienen y seleccionan, y qué metodologías se aplica a los mismos. De nuevo, ha de poder comprobarse no solo que se respeta la normativa de protección de datos; sino también que los datos utilizados para que la máquina aprenda no puedan producir un sesgo que dé como resultado final la afectación a derechos fundamentales.
USOS Y RIESGOS
Con el aprendizaje profundo reforzado las máquinas pueden aprender de forma autónoma, observando e interactuando con el entorno que se ha mencionado. Además, al utilizar redes neuronales pueden analizar escenarios más complejos y encontrar patrones que a simple vista los seres humanos no pueden ver. Su potencial es muy amplio y algunos ejemplos pueden ser la mejora de la gestión de recursos (por ejemplo, optimizar el consumo de energía), de tratamientos médicos (por ejemplo, recomendando los medicamentos y dosis a administrar), o en sistemas de navegación (en drones, coches autónomos).
En cuanto a los riesgos, al utilizar el algoritmo datos de nuevo nos encontramos con que pueda verse afectada la protección de datos de los usuarios, en concreto, cuando se usan datos que sean identificables (pues no todos los algoritmos utilizan datos sensibles, como por ejemplo en los que se usan la disposición de árboles o datos para predecir el clima). Habrá que vigilar también que la decisión que adopte el algoritmo no sea sesgada, afectando por ejemplo al derecho a la no discriminación. Como se ha señalado en la entrada relativa al aprendizaje reforzado, desde el algoritmo se puede corregir el sesgo.
BIBLIOGRAFÍA
- INSTITUTO DE INGENIERÍA DEL CONOCIMIENTO. Aprendizaje profundo por refuerzo.
https://www.iic.uam.es/aprendizaje-profundo-por-refuerzo/ - SOTAQUIRÁ, MIQUEL. El aprendizaje reforzado: la guía definitiva. 14/2/2021.
https://www.codificandobits.com/blog/el-aprendizaje-reforzado-la-guia-definitiva/
AUTORES
Covadonga Ferrer