RECURSOS DE INTELIGENCIA ARTIFICIAL

IA generativa y LLM

Comprende cómo los modelos generativos y los modelos de lenguaje procesan contexto y producen contenido a partir de patrones aprendidos durante su entrenamiento.

FUNDAMENTOS

Qué es la IA generativa

La inteligencia artificial generativa engloba sistemas capaces de producir contenido como texto, imágenes, audio, vídeo o código a partir de una entrada y de los patrones aprendidos durante su entrenamiento.

A diferencia de un sistema diseñado únicamente para clasificar o predecir una categoría, un modelo generativo produce una nueva salida siguiendo la representación y las relaciones aprendidas. 

Entrada
↓
Modelo generativo
↓
Procesamiento
↓
Contenido generado

El resultado no debe interpretarse como una copia directa de los datos de entrenamiento ni como una consulta automática a una base de datos. La forma concreta de producir la salida depende del tipo de modelo y de su arquitectura.

MODALIDADES

Qué puede generar un modelo

Existen modelos generativos especializados en diferentes tipos de información y otros capaces de trabajar con varias modalidades.

  • texto;
  • código;
  • imágenes;
  • audio;
  • voz;
  • vídeo;
  • combinaciones de diferentes modalidades.

Un sistema capaz de procesar o generar más de una modalidad suele denominarse multimodal. 

Texto
Imagen
Audio
↓
Modelo multimodal
↓
Resultado

Las capacidades concretas dependen del modelo y del sistema en el que esté integrado.

LENGUAJE

Qué es un modelo de lenguaje

Un modelo de lenguaje representa patrones y relaciones presentes en secuencias de lenguaje.

En muchos modelos generativos actuales, una tarea fundamental durante la generación consiste en estimar qué token puede continuar una secuencia teniendo en cuenta el contexto disponible. 

Contexto
↓
Modelo de lenguaje
↓
Distribución sobre posibles tokens
↓
Selección
↓
Siguiente token

Repitiendo este proceso pueden construirse secuencias más largas. Esta explicación es una simplificación conceptual útil para entender la generación de texto.

MODELOS

Qué es un LLM

LLM corresponde a Large Language Model, modelo de lenguaje de gran tamaño.

Estos modelos utilizan una gran cantidad de parámetros y se entrenan con grandes colecciones de datos para aprender patrones complejos del lenguaje y de otros tipos de información representados durante el entrenamiento.

Dependiendo de su entrenamiento y de las capacidades añadidas por el sistema que los utiliza, pueden realizar tareas como:

  • generar y transformar texto;
  • resumir información;
  • clasificar contenido;
  • extraer información;
  • responder preguntas;
  • traducir;
  • trabajar con código;
  • seguir instrucciones.

El término LLM describe una familia de modelos, no una aplicación concreta. Un asistente de IA puede utilizar un LLM junto con otros componentes.

ARQUITECTURA

Modelo y aplicación no son lo mismo

Cuando utilizamos un asistente o una aplicación de IA generativa, no estamos necesariamente interactuando únicamente con el modelo.

La aplicación puede incorporar otros elementos como:

  • instrucciones internas;
  • gestión del historial de conversación;
  • controles de seguridad;
  • herramientas externas;
  • búsqueda de información;
  • bases de datos;
  • sistemas RAG;
  • procesamiento adicional de entradas y salidas.
Usuario
↓
Aplicación
↓
Contexto y herramientas
↓
Modelo
↓
Resultado
↓
Aplicación
↓
Usuario

Esta diferencia es importante para comprender por qué dos aplicaciones que utilizan modelos relacionados pueden ofrecer comportamientos distintos.

REPRESENTACIÓN

Tokens

Los modelos de lenguaje no procesan necesariamente el texto como palabras completas. Antes de llegar al modelo, el contenido se transforma en unidades denominadas tokens.

Un token puede corresponder a una palabra, una parte de una palabra, signos de puntuación u otras unidades, dependiendo del tokenizador utilizado. 

Texto
↓
Tokenización
↓
Tokens
↓
Modelo

Por ello, no existe una equivalencia universal de una palabra igual a un token. El número de tokens depende del contenido, del idioma y del sistema de tokenización del modelo.

PROCESAMIENTO

Del token al modelo

Después de la tokenización, los tokens se representan numéricamente para que puedan ser procesados por el modelo. 

Texto
↓
Tokens
↓
Representaciones numéricas
↓
Modelo
↓
Predicción de salida

Durante el procesamiento, el modelo trabaja con representaciones matemáticas y relaciones aprendidas. El texto que ve el usuario es la representación final de un proceso interno basado en cálculos numéricos.

CONTEXTO

Qué entendemos por contexto

Durante una interacción, el modelo genera su salida utilizando la información que recibe como contexto.

Dependiendo de la aplicación, este contexto puede incluir:

  • la instrucción del usuario;
  • instrucciones internas del sistema;
  • mensajes anteriores de la conversación;
  • documentos proporcionados;
  • resultados recuperados desde fuentes externas;
  • información generada por herramientas.
Instrucciones
+
Conversación
+
Información adicional
↓
Contexto
↓
Modelo
↓
Respuesta

Que una aplicación tenga acceso a determinada información no implica necesariamente que toda ella se encuentre siempre dentro del contexto enviado al modelo.

LÍMITES

Ventana de contexto

La ventana de contextoestablece la cantidad de información, medida habitualmente en tokens, que un modelo puede considerar dentro de una operación de inferencia.

El contexto puede incluir tanto información de entrada como tokens relacionados con la salida, según el modelo y la forma en que se utilice. 

Contexto disponible
↓
Límite del modelo
↓
Procesamiento
↓
Generación

Una ventana de contexto más amplia permite procesar más información, pero no garantiza que toda ella tenga la misma influencia ni que el modelo utilice correctamente cada detalle.

APRENDIZAJE

Entrenamiento de un modelo de lenguaje

Durante el entrenamiento, los parámetros del modelo se ajustan a partir de datos y de un objetivo de aprendizaje. 

Datos
↓
Tokenización y preparación
↓
Entrenamiento
↓
Ajuste de parámetros
↓
Modelo entrenado

El entrenamiento permite que el modelo aprenda regularidades y relaciones presentes en los datos. No debe confundirse con la conversación que un usuario mantiene posteriormente con una aplicación.

Que un usuario proporcione información durante una interacción no significa, por sí solo, que los parámetros del modelo estén siendo modificados en ese momento.

GENERACIÓN

Inferencia y generación

La inferencia es la fase en la que un modelo ya entrenado procesa una entrada para producir una salida.

En un modelo generativo de lenguaje, el proceso puede representarse de forma simplificada así: 

Prompt y contexto
↓
Tokenización
↓
Modelo
↓
Predicción del siguiente token
↓
Selección
↓
Nuevo token
↓
Repetición
↓
Respuesta

Cada nuevo token pasa a formar parte de la secuencia utilizada para continuar la generación hasta que se alcanza una condición de finalización.

PREDICCIÓN

Probabilidades y selección de tokens

Al generar texto, el modelo puede asignar diferentes probabilidades a posibles continuaciones de la secuencia.

Conceptualmente: 

Contexto actual
↓
Posibles tokens
↓
Probabilidades
↓
Estrategia de selección
↓
Token generado

La estrategia utilizada para seleccionar tokens influye en la salida. Por ello, un mismo contexto no tiene por qué producir siempre una respuesta idéntica cuando la configuración permite variación.

CONFIGURACIÓN

Temperatura y variabilidad

En muchos sistemas generativos existe un parámetro denominado temperaturaque interviene en la distribución utilizada durante la selección de tokens.

De forma conceptual, configuraciones más conservadoras tienden a concentrar la selección en opciones con mayor probabilidad, mientras que configuraciones con mayor variabilidad pueden favorecer una gama más amplia de continuaciones. 

Distribución de probabilidades
↓
Configuración de generación
↓
Selección de tokens
↓
Respuesta

Su comportamiento exacto depende del modelo y de la implementación. No debe interpretarse simplemente como un control directo de creatividad, exactitud o calidad.

INSTRUCCIONES

El prompt como parte del contexto

Un prompt es la información o instrucción que se proporciona a un modelo para orientar la tarea que debe realizar.

Puede contener:

  • una tarea;
  • información de contexto;
  • restricciones;
  • ejemplos;
  • datos sobre los que trabajar;
  • un formato de salida esperado.
Instrucción
+
Contexto
+
Restricciones
↓
Prompt
↓
Modelo
↓
Respuesta

La construcción y evaluación de instrucciones se desarrolla con más detalle en la ficha específica de prompt engineering.

INFORMACIÓN

Conocimiento del modelo y contexto aportado

Conviene diferenciar la información representada en los parámetros del modelo durante su entrenamiento de la información que se proporciona dinámicamente durante una interacción. 

Entrenamiento
↓
Parámetros del modelo Información proporcionada
↓
Contexto de la interacción

Esta diferencia permite entender técnicas en las que una aplicación recupera información desde fuentes externas y la incorpora al contexto antes de solicitar una respuesta al modelo.

Uno de esos enfoques es RAG, que se desarrolla en una ficha independiente.

LIMITACIONES

Alucinaciones y respuestas no fundamentadas

Un modelo generativo puede producir contenido que parece coherente pero contiene información incorrecta, inventada o no respaldada por una fuente adecuada.

Este tipo de comportamiento suele describirse mediante el término alucinación. 

Pregunta
↓
Modelo generativo
↓
Respuesta plausible
↓
Verificación
↓
Correcta o incorrecta

La fluidez lingüística de una respuesta no constituye una garantía de exactitud factual.

Cuando la precisión es importante, la información debe verificarse mediante fuentes apropiadas o mediante mecanismos adicionales del sistema.

CRITERIO TÉCNICO

Otras limitaciones

Además de las respuestas factualmente incorrectas, existen otras limitaciones que deben considerarse.

  • dependencia de los datos y del proceso de entrenamiento;
  • posibles sesgos;
  • sensibilidad a la formulación de las instrucciones;
  • limitaciones de contexto;
  • resultados variables;
  • errores de razonamiento o interpretación;
  • dificultad para determinar el origen de algunas afirmaciones;
  • limitaciones propias de cada modelo y aplicación.

Las capacidades observadas en una tarea tampoco deben generalizarse automáticamente a cualquier otro problema.

USO RESPONSABLE

Verificación de resultados

El nivel de revisión necesario depende del uso que vaya a darse al contenido generado.

Conviene prestar especial atención cuando la salida:

  • se utiliza para tomar decisiones relevantes;
  • incluye datos o afirmaciones factuales;
  • se publica o distribuye a terceros;
  • contiene código que será ejecutado;
  • afecta a seguridad o configuración de sistemas;
  • se utiliza en ámbitos profesionales sensibles.
Contenido generado
↓
Revisión
↓
Verificación cuando proceda
↓
Uso

La supervisión humana no consiste únicamente en leer la respuesta, sino en aplicar el nivel de comprobación adecuado al contexto y a las consecuencias de un posible error.

DATOS

Información sensible y privacidad

Antes de proporcionar información a una aplicación de IA generativa debe considerarse qué datos se están compartiendo y cómo serán tratados por el servicio utilizado.

Esto puede ser especialmente relevante cuando el contenido incluye:

  • datos personales;
  • información confidencial;
  • credenciales;
  • documentación interna;
  • código propietario;
  • información de clientes o terceros.

Las condiciones concretas de tratamiento, conservación y utilización de los datos dependen del servicio y de su configuración. Deben revisarse antes de utilizarlo con información sensible.

ERRORES FRECUENTES

Confusiones que conviene evitar

  • confundir un LLM con toda la aplicación de inteligencia artificial;
  • asumir que el modelo consulta automáticamente Internet o una base de datos;
  • considerar cada palabra como exactamente un token;
  • confundir entrenamiento con inferencia;
  • asumir que una conversación modifica automáticamente los parámetros del modelo;
  • interpretar una ventana de contexto grande como memoria ilimitada;
  • considerar la temperatura como un control directo de calidad;
  • asumir que una respuesta bien redactada es necesariamente correcta;
  • utilizar contenido generado sin el nivel de revisión adecuado.

VISIÓN GENERAL

Del prompt a la respuesta

De forma simplificada, una interacción con un modelo generativo de lenguaje puede representarse así: 

Prompt
↓
Contexto
↓
Tokenización
↓
Modelo
↓
Predicción de tokens
↓
Generación
↓
Respuesta
↓
Revisión

Una aplicación real puede añadir más pasos, como recuperación de documentos, uso de herramientas, controles de seguridad o procesamiento posterior.

RESUMEN

Ideas fundamentales

  • La IA generativa produce contenido a partir de patrones aprendidos.
  • Un modelo de lenguaje trabaja con patrones y relaciones presentes en secuencias.
  • LLM significa Large Language Model.
  • Un LLM no debe confundirse con toda la aplicación que lo utiliza.
  • El texto se transforma en tokens antes de ser procesado por el modelo.
  • No existe una equivalencia universal entre palabra y token.
  • La ventana de contexto limita la información disponible durante una operación de inferencia.
  • Entrenamiento e inferencia son procesos diferentes.
  • La generación puede realizarse token a token utilizando probabilidades y una estrategia de selección.
  • La temperatura influye en la distribución utilizada durante la generación, pero no es un control directo de calidad.
  • Los modelos generativos pueden producir información incorrecta.
  • La fluidez de una respuesta no garantiza su veracidad.
  • Los resultados deben revisarse según el contexto en el que vayan a utilizarse.

SIGUE APRENDIENDO

Recursos relacionados

Esta ficha se relaciona directamente con el resto de recursos de Inteligencia Artificial:

PARA AMPLIAR

Documentación de referencia

Fuentes institucionales y documentación técnica para ampliar los conceptos de esta ficha.