Como se desprende de los usos descritos en los apartados anteriores, junto a las numerosas ventajas que puede suponer la IA generativa en muy diversos campos, ésta también plantea serios riesgos. Algunos de estos riesgos son comunes a otras formas de inteligencia artificial. Así, por ejemplo, es preciso vigilar la calidad de los datos con los que se entrena la IA generativa para evitar introducir sesgos que conduzcan a resultados discriminatorios, y es preciso garantizar que, allí donde una IA generativa sea entrenada con datos personales, dichos datos reciban un tratamiento que respete los derechos fundamentales de las personas involucradas. La IA generativa puede plantear también problemas en al ámbito de la propiedad intelectual. Es preciso garantizar el respeto a los derechos de autor que pesen sobre los datos con los que se entrena y,además, articular criterios claros para discernir si la obra creada por la IA puede ser considerada verdaderamente original y, en su caso,determinar la titularidad de los derechos sobre dicha obra.
Los riesgos de la IA generativa que hasta ahora han generado una mayor preocupación entre los expertos en Derecho Público tienen que ver su uso irresponsable o delictivo en la esfera política. Las aplicaciones de la IA generativa facilitan la creación y difusión masiva de las llamadas
ultra falsificaciones o deep fake, es decir, imágenes, audios o vídeos manipulados o sintéticos que representan a personas llevando a cabo determinadas conductas que, dada su apariencia realista, pueden inducir a confusión sobre su naturaleza real o artificial. La difusión de este tipo de contenido puede tener un efecto muy disruptivo en la sociedad, distorsionando el debate público, condicionando el comportamiento de los electores o incluso, en casos extremos, alternado el resultado de un proceso electoral.

Además, dado que estos modelos necesitan algunos datos de entrada (input) para ser entrenados, podrían surgir debates sobre sesgos y derechos de autor relacionados con el resultado (output). Por ejemplo, una imagen generada por IA ganó un concurso de arte en los EE.UU. en septiembre de 2022, generando un acalorado debate ya que el autor inicialmente no mencionó cómo realizó la obra.
Para algunos es necesario plantearse que no baste con la revisión humana, sino que algunas actuaciones jurídicas deben quedar fuera del ámbito de actuación de la IA generativa. No solo pueden estar los datos desactualizados o contener errores, por ejemplo, sino que la hermenéutica jurídica exige la toma en consideración y la ponderación de las circunstancias concretas de cada caso, así como de los intereses de todas las partes involucradas. Asimismo, la interpretación jurídica debe adaptar el derecho existente a la realidad social del tiempo en que se aplica.Además, en los procesos judiciales muchos datos son confidenciales. En definitiva, aunque la IA generativa siga mejorando, es necesario recordar el derecho a que las decisiones con efectos jurídicos no se basen únicamente en el tratamiento automatizado es mucho más fuerte, cuanto más pueda afectar dicha decisión al interesado.
Paralelamente, la IA generativa puede mejorar la eficiencia de la administración de justicia De hecho, puede agilizar muchas operaciones y desempeñar actividades, más o menos rutinarias y repetitivas, si bien bajo la revisión de un experto.
Frente a estos riesgos, además de reforzar la alfabetización digital, es necesario que exista una regulación que contribuya a prevenir la aparición de estos problemas. En esta línea, la última versión disponible de la propuesta de la AI Act recoge expresamente la figura de las ultra falsificaciones y exige que se dé a conocer el carácter artificial de los contenidos generados a partir de estas técnicas.