Los modelos fundacionales son sistemas de IA entrenados con enormes cantidades de datos no etiquetados que pueden adaptarse a una gran variedad de tareas. Son capaces de aplicar el conocimiento aprendido en el desempeño de una tarea al desempeño de otra tarea distinta y son susceptibles de optimizar el desempeño de una tarea concreta partir de su propia experiencia. El proceso por el cual un modelo fundacional se ajusta o entrena para desempeñar mejor una tarea específica se conoce como fine-tunning.
De acuerdo con el Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial, un modelo fundacional es “un modelo de inteligencia artificial entrenado en una gran cantidad de datos no etiquetados a escala(generalmente mediante aprendizaje auto supervisado y/o con recopilación automática de contenido y datos a través de internet mediante programas informáticos) que da como resultado un modelo que se puede adaptar a una amplia gama de tareas posteriores.”
Una característica única de los modelos básicos es su adaptabilidad. Estos modelos pueden realizar una amplia gama de tareas dispares con un alto grado de precisión en función de las indicaciones de entrada. Algunas tareas incluyen el procesamiento de lenguaje natural (NLP), la respuesta a preguntas y la clasificación de imágenes. El tamaño y la naturaleza de uso general de los modelos básicos los diferencian de los modelos de machine learning tradicionales, que suelen realizar tareas específicas, como analizar texto en busca de opiniones, clasificar imágenes y pronosticar tendencias.
Puede utilizar los modelos fundacionales como modelos de base para desarrollar aplicaciones posteriores más especializadas. Estos modelos sola culminación de más de una década de trabajo que los vio aumentar en tamaño y complejidad. Por ejemplo, BERT, uno de los primeros modelo fundacionales bidireccionales, se lanzó en 2018. Se entrenó con 340 millones de parámetros y un conjunto de datos de entrenamiento de 16 GB. En 2023, solo cinco años después, OpenAI entrenó el GPT-4 mediante la utilización de 170 billones de parámetros y un conjunto de datos de entrenamiento de 45 GB. Según OpenAI, la potencia de cómputo requerida para el modelado fundacional se ha duplicado cada 3,4 meses desde 2012. Los modelos fundacionales actuales, como los modelos de lenguaje de gran tamaño (LLM) Claude 2 y Llama 2, y el modelo de conversión de texto a imagen Stable Diffusion de Stability AI, pueden realizar una serie de tareas listas para usar que abarcan múltiples dominios, como escribir publicaciones de blog, generar imágenes, resolver problemas matemáticos, entablar diálogos y responder preguntas basadas en un documento.
Los modelos fundacionales son una forma de inteligencia artificial generativa (IA generativa). Ellos generan resultados a partir de una o más entradas (indicaciones) en forma de instrucciones en lenguaje humano. Los modelos se basan en redes neuronales complejas, que incluyen las redes generativas antagónicas (GAN), los transformadores y los codificadores variacionales.
Si bien cada tipo de red funciona de manera diferente, los principios en los que se basa su funcionamiento son similares. En general, un modelo fundacional utiliza relaciones y patrones aprendidos para predecir el siguiente elemento de una secuencia. Por ejemplo, con la generación de imágenes, el modelo analiza la imagen y crea una versión de ella más nítida y definida. Del mismo modo, con texto, el modelo predice la siguiente palabra de una cadena de texto en función de las palabras anteriores y su contexto. Luego, selecciona la siguiente palabra mediante el uso de técnicas de distribución de probabilidad.
Los modelos fundacionales utilizan el aprendizaje auto supervisado para crear etiquetas a partir de los datos de entrada. Esto significa que nadie instruyó ni entrenó el modelo con conjuntos de datos de entrenamiento etiquetados. Esta característica separa a los LLM de las arquitecturas de ML anteriores, que utilizan el aprendizaje supervisado o no supervisado.
Algunos ejemplos de modelos fundacionales lanzados desde 2018 son:
BERT: Bidirectional Encoder Representations from Transformers (BERT) se lanzó en 2018 y fue uno de los primeros modelos fundacionales. BERT un modelo bidireccional que analiza el contexto de una secuencia completa y luego hace una predicción. Se entrenó con un corpus de texto sin formato y Wikipedia y se utilizaron 3300 millones de tokens (palabras) y 340 millones de parámetros. BERT puede responder preguntas, predecir oraciones y traducir textos.
GPT El modelo Generative Pre-trained Transformer (GPT) fue desarrollado por OpenAI en 2018. Utiliza un decodificador transformador de 12 capas con un mecanismo de auto atención. Se entrenó con el conjunto de datos BookCorpus, que contiene más de 11.000 novelas gratuitas. Una característica destacable del GPT-1 es la capacidad de llevar a cabo el aprendizaje zero-shot. GPT-2 se lanzó en 2019. Para entrenarlo, OpenAI utilizó 1500 millones de parámetros (en comparación con los 117 millones de parámetros utilizados con GPT-1). GPT-3 tiene una red neuronal d96 capas y 175 000 millones de parámetros. Se entrena con el conjunto de datos Common Crawl de 500 000 millones de palabras. El popular chatbot ChatGPT está basado en GPT-3.5. Y GPT-4, la versión más reciente, se lanzó a finales de 2022 y aprobó con éxito el examen uniforme de abogacía con una puntuación de 297 (76 %).

Claude 2 es el modelo de vanguardia de Anthropic, que se destaca por el diálogo reflexivo, la creación de contenido, el razonamiento complejo,creatividad y la codificación, todo creado con IA constitucional. Claude 2 puede aceptar hasta 100 000 tokens en cada mensaje, lo que significa que puede funcionar en cientos de páginas de texto o incluso en un libro entero. Claude 2 también puede escribir documentos más largos, como notas e historias del orden de unos cuantos miles de tokens, en comparación con su versión anterior.
Cohere tiene dos LLM: uno es un modelo de generación con capacidades similares a las del GPT-3 y el otro es un modelo de representación destinado a la comprensión de idiomas. Aunque Cohere tiene solo 52 000 millones de parámetros, supera a GPT-3 en muchos aspectos.
BLOOM es un modelo multilingüe con una arquitectura similar a la de GPT-3. Se desarrolló en 2022 como un esfuerzo de colaboración en el que participaron más de mil científicos y el equipo de Hugging Space. El modelo tiene 176 000 millones de parámetros y el entrenamiento duró tres meses y medio con 384 GPU Nvidia A100. Aunque el punto de control de BLOOM requiere 330 GB de almacenamiento, se puede ejecutar en un PC independiente con 16 GB de RAM. BLOOM puede crear texto en 46 idiomas y escribir código en 13 lenguajes de programación.
Hugging Face es una plataforma que ofrece herramientas de código abierto para crear e implementar modelos de machine learning. Actúa como un centro comunitario, y los desarrolladores pueden compartir y explorar modelos y conjuntos de datos. La membresía para individuos es gratuita, aunque las suscripciones ofrecen niveles de acceso superiores. Tiene acceso público a casi 200 000 modelos y 30 000 conjuntos de datos.